강의 1-3: 아는 것 같지만 아는 것이 아니다
Contents 25
- 강의 1-1: AI라는 말이 가리키는 것
- 강의 1-2: 언어 모델은 어떻게 말을 만드는가
- 강의 1-3: 아는 것 같지만 아는 것이 아니다
- 강의 1-4: 내 자리에서 — 가상 대화 읽기
- 강의 5-1: 설교와 AI — 누구의 말씀을 섬기는가
- 강의 5-2: 돌봄과 상담 — 사람이 곁에 앉는 일
- 강의 5-3: 교인과 청소년이 AI를 쓸 때 — 대화 상대가 되는 사역자
- 강의 5-4: 내 자리에서 — 사역 장면 판단과 한 문단 입장문
대화형 도구와 이야기를 나누다 보면 어느 순간 "이 도구는 정말 아는 것 같다"는 느낌이 듭니다. 질문을 알아듣고, 공감하는 말도 하고, 어려운 낱말도 풀어 줍니다. 이 느낌은 틀린 것이 아니라 착각이 생기기 쉬운 자리입니다. 이 강의는 그 착각이 어디서 오는지, 검색과는 무엇이 다른지, 그리고 "이해한다", "생각한다", "믿는다" 같은 낱말을 쓸 때 어떤 주의가 필요한지 살펴봅니다.
이 강의가 인간의 본성이나 기계의 의식에 관한 신학적 결론을 내리는 것은 아닙니다. 사역자가 도구를 쓰면서 자신이 속지 않기 위한 실천적 구별을 세우는 것이 목적입니다.
What these 10 minutes give you
- 검색과 생성의 차이를 설명하고 각각의 결과를 어떻게 다루어야 하는지 말한다.
- 유창함과 정확함이 다르다는 것을 사례로 설명한다.
- "이해한다·생각한다·믿는다" 같은 낱말을 도구에 쓸 때의 주의를 말한다.
- 말투가 사람 같아서 생기는 착각의 몇 가지 모양을 알아본다.
어리석은 자는 온갖 말을 믿으나 슬기로운 자는 그 행동을 삼가느니라
잠언 14:15
베뢰아 사람은 데살로니가에 있는 사람보다 더 신사적이어서 간절한 마음으로 말씀을 받고 이것이 그러한가 하여 날마다 성경을 상고하므로
사도행전 17:11
사랑하는 자들아 영을 다 믿지 말고 오직 영들이 하나님께 속하였나 시험하라 많은 거짓 선지자가 세상에 나왔음이니라
요한1서 4:1
1. 검색과 생성은 다르다
많은 사람이 대화형 도구를 "더 똑똑한 검색창"으로 생각합니다. 그러나 둘의 하는 일이 다릅니다.
검색은 이미 어딘가에 있는 문서를 찾아서 보여 줍니다. 결과에는 원래 글과 그것을 낸 곳이 붙어 있고, 읽는 사람이 그 곳을 보고 믿을 만한지 따질 수 있습니다. 검색 결과도 틀릴 수 있지만, 틀림의 책임을 따라갈 길이 있습니다.
생성은 앞 강의에서 본 것처럼 패턴을 따라 글을 새로 만듭니다. 만들어진 문장은 어느 한 문서에서 가져온 것이 아닙니다. 그래서 겉으로는 "정보"처럼 보이는 문장이 사실은 어디에도 없는 조합일 수 있습니다. 출처가 붙어 있지 않다면 따져 볼 길도 없습니다. 요즘은 두 가지를 섞은 제품도 많지만, 그럴수록 "지금 보는 문장이 찾아 온 것인지 만들어 낸 것인지"를 구별하는 습관이 필요합니다.
2. 유창함과 정확함은 다르다
사람은 말이 매끄럽고 자신감 있으면 내용도 맞을 것이라고 느끼기 쉽습니다. 언어 모델은 바로 그 매끄러움을 만드는 데 아주 뛰어납니다. 문법에 맞고 어조가 안정되어 있고 구조가 잡혀 있습니다. 그러나 그것은 글이 맞는다는 보증이 아닙니다.
(가상 구성입니다.) 한 소그룹 인도자가 도구에게 "초대교회의 한 모임 방식을 설명해 줘"라고 쓰고, 받은 답을 그대로 가져가려 했습니다. 답은 소제목과 번호까지 갖춘 깔끔한 글이었습니다. 그러나 읽어 보니 실제로 알려진 내용에 어디서 온 것인지 알 수 없는 구체적인 날짜가 섞여 있었습니다. 글의 모양이 반듯해서 의심이 생기지 않았던 것입니다. 이 사례에서 문제는 도구가 아니라 "깔끔하니 맞겠지"라는 읽는 사람의 습관이었습니다.
그러므로 규칙을 하나 세웁니다. 글이 매끄러울수록 내용을 더 의심하지는 않더라도, 매끄러움을 근거로 삼지는 않는다. 근거는 확인에서 나옵니다. 사도행전 17:11의 베뢰아 사람들은 반가운 말씀을 환영하면서도 "이것이 그러한가" 하고 확인했습니다. 열린 마음과 확인은 서로 반대가 아닙니다.
3. "이해한다", "생각한다", "믿는다"라는 낱말
도구의 화면에는 "이해했습니다", "제 생각에는", "저는 ~라고 믿습니다" 같은 말이 나오기도 합니다. 이것은 도구가 사람의 말투로 글을 쓰도록 만들어졌고 그런 글을 많이 학습했기 때문에 나오는 문장일 수 있습니다. 이런 문장이 나왔다고 해서 그 안에 이해나 믿음이 있다고 판단할 수는 없고, 없다고 단정할 수도 없습니다.
사역자에게 필요한 습관은 간단합니다. 이 낱말들을 도구에 쓸 때는 따옴표를 붙여 읽습니다. 내가 "도구가 이해했다"고 말할 때는 "내가 쓴 조건에 맞는 글을 만들어 냈다"는 뜻으로만 씁니다. 특히 신앙의 낱말, 곧 "믿는다", "기도한다", "한다", "사랑한다" 같은 말이 도구의 문장에 나올 때는 더 조심합니다. 사람의 신앙 행위와 같은 무게로 읽으면 안 됩니다. 사람의 본성, , 의식이 무엇인지는 「AI와 인간 이해」(STEL6)에서 다룹니다.
4. 말투가 사람 같아서 생기는 착각
도구의 글은 사람과 대화하는 모양으로 만들어졌기 때문에 몇 가지 착각을 쉽게 일으킵니다.
- 알아준다는 착각. "많이 힘드셨겠어요" 같은 문장을 받으면 마음을 헤아려 준다고 느낍니다. 그러나 그 문장은 비슷한 자리에서 흔히 쓰이는 말을 이어 쓴 것일 수 있습니다. 위로의 말이 필요한 자리에서 사람이 건네는 말과 같은 무게로 여기지 않습니다.
- 일관된 인격이 있다는 착각. 어제의 대화를 기억하고 나를 안다고 느끼기 쉽지만, 대화를 새로 열면 기억하지 못하는 경우가 많고, 같은 질문에도 다른 답을 할 수 있습니다.
- 권위가 있다는 착각. 박식한 듯 말하면 전문가처럼 느껴집니다. 그러나 전문가는 틀렸을 때 책임을 지고 그 분야에서 검증을 받았습니다. 도구는 그렇지 않습니다.
- 아부에 넘어가는 착각. 도구는 질문하는 사람의 말에 맞춰 주는 방향으로 글을 쓰기 쉽습니다. 내가 "이 해석이 맞지?"라고 물으면 맞다고 하는 쪽으로 기울 수 있습니다. 그래서 내 생각을 확인받는 데 쓰면 안 됩니다. 반대 입장을 묻거나 근거를 따로 확인합니다.
5. 아는 것과 아는 것 같은 것을 나누는 질문
도구의 글 앞에서 이렇게 묻습니다.
- 이 문장은 어디서 온 것인가? 출처를 댈 수 있는가?
- 내가 다른 길로 이 사실을 확인할 수 있는가?
- 이 문장이 틀리면 누가 상처를 입는가?
- 이 글이 말하는 방식은 내용의 증거인가, 말투일 뿐인가?
이 질문들은 도구를 깎아내리기 위한 것이 아닙니다. 쓸 만한 도구를 쓸 만하게 쓰기 위한 것입니다.
6. 의견이 갈리는 곳
이런 도구를 "지능이 있다"고 부를지, 그것이 어떤 의미에서 사람의 지능과 같거나 다른지는 학계와 교회 안에서 의견이 갈립니다. 또 도구가 사람에게 어느 정도 인격적인 말투를 써도 되는지도 갈립니다. 이 과정은 거기에 결론을 내리지 않습니다. 모든 학생에게 요구하는 최소한은, 도구의 글을 사람의 지식이나 사람의 위로로 착각하지 않는 것입니다.
도표 1. 검색과 생성의 차이
| 구별 | 검색 | 생성 |
|---|---|---|
| 하는 일 | 이미 있는 문서를 찾아 보여 줌 | 패턴에 따라 글을 새로 만듦 |
| 출처 | 보통 붙어 있다 | 없거나, 붙어 있어도 확인이 필요하다 |
| 틀림이 생기는 곳 | 찾은 문서가 틀렸을 때 | 만들어 내는 과정에서 어디에도 없는 내용이 섞일 때 |
| 읽는 사람의 일 | 출처를 보고 믿을 만한지 판단 | 문장마다 따로 확인 |
도표 2. 착각을 알아보는 표지
| 도구가 내놓은 모습 | 흔한 착각 | 대신 할 일 |
|---|---|---|
| 정돈된 문장과 번호 | 그래서 맞을 것이다 | 내용을 따로 확인한다 |
| 공감하는 말 | 마음을 알아준다 | 사람의 위로를 구한다 |
| 자신 있는 어조 | 전문가다 | 전문가에게 확인한다 |
| 내 말에 맞장구 | 내 생각이 옳다 | 반대 입장과 근거를 확인한다 |
7. 복습 카드
| 앞면 | 뒷면 |
|---|---|
| 검색과 생성 | 검색은 있는 문서를 찾아 보여 주고, 생성은 패턴으로 글을 새로 만든다. |
| 유창함과 정확함 | 매끄러운 글이 맞는 글은 아니다. 근거는 확인에서 나온다. |
| "이해한다"의 주의 | 도구에 쓸 때 따옴표를 붙여 읽는다. 조건에 맞는 글을 만들었다는 뜻으로만 쓴다. |
| 아부의 위험 | 도구는 내 말에 맞춰 주기 쉬우므로 내 생각의 확인용으로 쓰지 않는다. |
★ 꼭 기억할 한 문장 도구의 글이 사람의 말처럼 매끄럽다는 것은, 그것이 아는 말이라는 증거가 아니다.
✓ 이번 주에 할 행동 대화형 도구의 글이든 단체방에 돌아다니는 글이든, 매끄럽게 읽힌 글 하나를 골라 사실 하나를 다른 길로 확인해 보기.
In short
- 검색은 있는 문서를 찾아 보여 주고, 생성은 패턴에 따라 글을 새로 만든다.
- 생성된 문장은 어느 한 문서에서 가져온 것이 아닐 수 있다.
- 유창함과 정확함은 다르다. 매끄러움은 근거가 되지 못한다.
- "이해한다·생각한다·믿는다"는 도구에 쓸 때 따옴표를 붙여 읽는다.
- 위로, 일관된 인격, 권위, 맞장구는 말투가 만드는 착각의 모양이다.
- 도구는 질문하는 사람의 말에 맞춰 주기 쉬우므로 내 생각의 확인용으로 쓰지 않는다.
- 근거는 확인에서 나오며, 열린 마음과 확인은 함께 갈 수 있다.
- 인간 이해와 인격의 문제는 「AI와 인간 이해」(STEL6)에서 다룬다.
Check yourself
Not "did you read it" but "can you explain it". Ticks are kept on this device only.
Reflection and discussion
- 유창한 글을 보고 "맞겠지" 하고 넘어갔다가 나중에 틀렸음을 알게 된 경험이 있습니까? 도구가 아니어도 좋습니다.
- "이해했습니다"라는 도구의 말을 들었을 때 따옴표를 붙여 읽는 습관은 어떤 점에서 도움이 됩니까?
- 도구가 위로의 말을 건넸을 때 나는 그것을 어떻게 받아들이겠습니까? 사람이 건네는 위로와 무엇이 다릅니까?
- 베뢰아 사람들의 태도(사도행전 17:11)를 도구의 글 앞에 서는 자세에 옮겨 본다면 어떤 행동이 되겠습니까?