강의 1-2: 언어 모델은 어떻게 말을 만드는가
Contents 25
- 강의 1-1: AI라는 말이 가리키는 것
- 강의 1-2: 언어 모델은 어떻게 말을 만드는가
- 강의 1-3: 아는 것 같지만 아는 것이 아니다
- 강의 1-4: 내 자리에서 — 가상 대화 읽기
- 강의 5-1: 설교와 AI — 누구의 말씀을 섬기는가
- 강의 5-2: 돌봄과 상담 — 사람이 곁에 앉는 일
- 강의 5-3: 교인과 청소년이 AI를 쓸 때 — 대화 상대가 되는 사역자
- 강의 5-4: 내 자리에서 — 사역 장면 판단과 한 문단 입장문
글로 질문하면 글로 답하는 도구는 마치 누군가 생각하며 대답하는 것처럼 보입니다. 사역자가 이것을 바르게 쓰려면 "이 글이 어떻게 만들어졌는가"를 아주 대략이라도 알아야 합니다. 원리를 모르면 매끄러운 답을 보고 쉽게 믿어 버리거나, 반대로 한 번 틀린 것을 보고 전부 쓸모없다고 버리게 됩니다.
이번 강의는 수식 없이 쉬운 비유로 언어 모델이 말을 만드는 방식을 설명합니다. 비유는 이해를 돕지만 어디까지나 비유이므로, 비유가 맞지 않는 곳도 함께 밝힙니다.
What these 9 minutes give you
- 학습과 사용을 구별하고, 언어 모델이 다음에 올 말의 가능성을 배워 이어 쓴다는 원리를 비유로 설명한다.
- 같은 질문에 다른 답이 나올 수 있는 까닭을 가능성(확률)의 말로 설명한다.
- 맥락 창이라는 개념으로 대화가 길어지면 앞의 내용을 놓칠 수 있음을 이해한다.
- 이 비유가 가리키지 못하는 점을 한두 가지 말한다.
범사에 헤아려 좋은 것을 취하고
데살로니가전서 5:21
너희 중에 누구든지 지혜가 부족하거든 모든 사람에게 후히 주시고 꾸짖지 아니하시는 하나님께 구하라 그리하면 주시리라
야고보서 1:5
1. 자동 완성에서 출발하기
휴대전화로 "내일 예배에"라고 쓰면 "참석", "오세요" 같은 낱말이 아래에 뜹니다. 이 기능은 사람들이 흔히 이어 쓰는 말을 바탕으로 다음에 올 말을 짐작해 보여 주는 것입니다. 언어 모델은 이것을 아주 크게, 아주 정교하게 만든 것이라고 생각하면 출발점으로 알맞습니다. 단어 하나를 짐작하는 데 그치지 않고, 앞에 쓰인 질문과 지금까지 쓴 말 전체를 보고 다음 말을 정하고, 그다음 말을 또 정하는 일을 되풀이하며 문장과 문단을 만듭니다.
2. 학습: 방대한 글을 읽으며 배운다
비유를 하나 들어 보겠습니다. (가상 구성입니다.) 어떤 사람이 평생 도서관에서 수없이 많은 책, 편지, 기사, 대화 기록을 읽었다고 합시다. 이 사람은 내용을 외운 것이 아니라, "이런 말 다음에는 대개 이런 말이 온다"는 감각을 몸에 익혔습니다. 누가 "하나님은 사랑이시니"까지 말하면 다음에 올 말들을 줄줄이 떠올릴 수 있습니다. 어떤 주제의 글은 어떤 어조로 쓰이는지, 질문 다음에는 어떤 모양의 대답이 오는지도 압니다.
언어 모델이 만들어지는 과정이 이와 닮았습니다. 이 과정을 학습이라 합니다. 아주 많은 글을 보며 "앞의 말이 이러면 다음 말은 어떤 것이 얼마나 가능성이 높은가"를 조정해 갑니다. 이때 글이 저장된 책장 같은 것이 생기는 것이 아니라, 패턴이 수많은 숫자로 굳어집니다. 그래서 학습이 끝난 모델은 어느 책의 어느 쪽에 무엇이 쓰여 있는지 찾아 읽는 것이 아니라, 패턴에 따라 글을 만들어 냅니다. 이것이 1-3강에서 볼 "아는 것 같지만 아는 것이 아니다"의 출발점입니다.
3. 사용: 질문을 받아 말을 이어 쓴다
학습이 끝난 뒤 우리가 질문을 쓰는 단계는 사용입니다. 사용할 때 모델은 질문을 보고, 다음에 올 말의 가능성을 계산하여 한 토막을 고르고, 그것을 덧붙여 다시 다음 말을 정합니다. 사용하는 동안에는 보통 새로운 것을 배우지 않습니다. 학습된 패턴을 쓸 뿐입니다. 이 점 때문에 도구가 어떤 내용을 학습한 시점 이후의 일은 모를 수 있습니다. 이것은 2주에서 자세히 다룹니다.
4. 확률: 같은 질문에 다른 답이 나오는 까닭
"다음에 올 말"은 하나로 정해지지 않고 후보와 가능성이 있습니다. "예배는"으로 시작하는 문장 뒤에 "드립니다"가 올 가능성이 가장 높더라도 "시작됩니다", "은혜롭습니다"가 올 가능성도 있습니다. 많은 도구는 가장 높은 것만 고르지 않고 어느 정도 가능성에 따라 뽑기 때문에, 같은 질문을 다시 해도 다른 문장이 나올 수 있습니다.
이 점에서 두 가지를 배웁니다. 첫째, 한 번의 답을 "그 도구의 정해진 입장"으로 여기면 안 됩니다. 같은 도구가 다시 물으면 다른 말을 할 수 있습니다. 둘째, 이 뽑기는 글에 다양성을 주어 쓸모가 있지만, 같은 이유로 사실이 아닌 말도 가능성이 있으면 뽑힙니다. 맞는 말만 고르는 장치가 아닙니다.
5. 맥락 창: 대화가 길면 잊는다
도구가 한 번에 "눈앞에 펼쳐 놓고 볼 수 있는" 글의 양에는 한계가 있고, 이것을 맥락 창이라고 합니다. 책상 위에 올려놓을 수 있는 종이의 수와 같다고 생각하면 됩니다. 대화가 길어져 처음 쓴 말이 책상 밖으로 밀려나면, 도구는 앞서 정해 준 조건이나 사실을 놓칩니다. 그래서 대화 초반에 "존댓말로 써 줘", "다섯 줄로 줄여 줘"라고 한 조건이 한참 뒤에는 지켜지지 않을 수 있습니다. 중요한 조건은 필요할 때 다시 적어 주는 것이 좋습니다. 이것도 사람의 기억과는 다른 것입니다. 사람은 어제의 대화를 기억하지만, 대화를 새로 시작한 도구는 어제의 대화를 모르는 경우가 많습니다.
6. 비유의 한계
도서관의 사람 비유는 편리하지만 잘못 읽히기도 합니다. 그 사람은 책을 읽으며 이해하고, 의심하고, 직접 겪은 것이 있습니다. 언어 모델이 그런 것을 하는지는 따로 논의가 필요한 문제이고, 이 과정은 여기에 결론을 내리지 않습니다. 사람의 이해와 에 관한 문제는 「AI와 인간 이해」(STEL6)에서 다룹니다. 이 과정에서 필요한 것은 사역자가 다룰 때의 실천적 요점입니다. 이 도구의 글은 "그럴듯하게 이어 쓴 결과"이므로, 맞는지는 별도로 확인해야 합니다.
또 하나의 한계는 "다음 말의 가능성"이라는 설명이 실제 구조를 아주 단순하게 줄인 것이라는 점입니다. 실제 모델의 안쪽에서 일어나는 일은 이보다 훨씬 복잡하고, 전문가도 다 설명하지 못하는 부분이 있습니다. 우리는 판단에 필요한 만큼만 이해하면 됩니다.
7. 의견이 갈리는 곳
이런 도구가 "생각한다"고 말해도 되는지는 학자와 자 사이에 의견이 갈립니다. 이 과정은 그 논쟁에 서지 않고, 사역자가 작동 방식에서 얻어야 할 실천적 결론만 요구합니다. 곧 만들어 낸 글이므로 확인하고, 책임은 쓰는 사람이 진다는 것입니다.
도표 1. 말이 만들어지는 길
도표 2. 비유가 맞는 곳과 틀리는 곳
| 비유(도서관에서 읽은 사람) | 맞는 곳 | 맞지 않는 곳 |
|---|---|---|
| 많이 읽었다 | 방대한 글에서 패턴을 익혔다 | 읽은 글을 찾아 펼쳐 보는 것이 아니다 |
| 감각이 있다 | 다음 말의 가능성을 안다 | 그 말이 사실인지 확인하는 장치가 아니다 |
| 대화한다 | 질문에 맞는 모양으로 답한다 | 어제의 대화를 기억하는 사람과 같지 않다 |
7. 복습 카드
| 앞면 | 뒷면 |
|---|---|
| 학습 | 방대한 글에서 다음 말의 가능성 패턴을 익히는 단계. |
| 사용 | 질문을 받아 학습된 패턴으로 말을 한 토막씩 이어 쓰는 단계. |
| 같은 질문에 다른 답 | 가능성에 따라 뽑기 때문에 생긴다. 한 번의 답이 정해진 입장이 아니다. |
| 맥락 창 | 한 번에 볼 수 있는 글의 양. 대화가 길면 앞의 내용을 놓칠 수 있다. |
★ 꼭 기억할 한 문장 언어 모델의 글은 그럴듯하게 이어 쓴 결과이므로, 맞는지는 따로 확인해야 한다.
✓ 이번 주에 할 행동 휴대전화 자동 완성 제안을 한 번 눈여겨보고, 다음 말을 짐작한다는 것이 어떤 느낌인지 한 줄 적어 보기.
In short
- 언어 모델은 다음에 올 말의 가능성을 배워 이어 쓰는 방식으로 글을 만든다.
- 학습은 방대한 글에서 패턴을 익히는 단계이고, 사용은 질문을 받아 말을 이어 쓰는 단계다.
- 학습한 글을 저장해 찾아 읽는 것이 아니라 패턴으로 글을 새로 만든다.
- 가능성에 따라 뽑으므로 같은 질문에도 다른 답이 나올 수 있다.
- 가능성이 있으면 사실이 아닌 말도 뽑힐 수 있다.
- 맥락 창에는 한계가 있어 대화가 길어지면 앞의 조건을 놓칠 수 있다.
- 도서관의 사람 비유는 이해를 돕지만 이해와 경험까지 같다는 뜻이 아니다.
- 실천적 결론은 만들어 낸 글이므로 확인하고 책임은 쓰는 사람이 진다는 것이다.
Check yourself
Not "did you read it" but "can you explain it". Ticks are kept on this device only.
Reflection and discussion
- 휴대전화의 자동 완성은 언어 모델의 어떤 점을 닮았습니까? 닮지 않은 점은 무엇입니까?
- 같은 질문을 두 번 했는데 다른 답이 나왔다면, 어느 쪽을 믿어야 한다고 생각합니까? 이 강의의 설명으로 그 까닭을 말해 봅시다.
- 대화가 길어질 때 도구가 처음의 조건을 놓칠 수 있다는 것을 알면 질문하는 방법이 어떻게 달라지겠습니까?
- 야고보서 1:5는 지혜를 하나님께 구하라고 말합니다. 도구에게 묻는 일과 지혜를 구하는 일은 어떤 점에서 같고 어떤 점에서 다릅니까?