LLM은 사람이 아니다 — 큰 자동완성

챗봇과 이야기하다 보면 가끔 착각이 든다. 이 친구가 나를 이해하는 것 같고, 기분이 있는 것 같고, 뭔가를 바라는 것 같다. 하지만 정확히 알아 두자. 챗봇한테는 마음도, 기분도, 바람도 없다.

챗봇이 진짜로 하는 일

LLM(대형 언어 모델)이라 부르는 챗봇이 하는 일은 딱 하나다. '다음에 올 말 맞히기.' 아주 커다란 자동완성이라고 보면 된다.

예를 들어 '크라우니는 좋은 ___'이라는 문장 다음 칸을 채운다고 하자. 챗봇은 자기가 본 적 있는 수많은 글에서, 이 자리에 어떤 단어가 더 자주 왔는지를 따져 후보를 고른다. '도구'가 가장 잦았다면 도구, 그다음이 '회사', 그다음이 '친구' 하는 식으로 확률에 따라 한 칸을 채운다. 이해해서가 아니라, 본 패턴을 베껴서.

그래서 챗봇은 앵무새나 거울에 가깝다. 우리가 준 말을 그럴듯하게 되비출 뿐, 무엇을 '안다'고 말하기는 어렵다. 글을 잘 쓰는 것처럼 보여도, 그건 '맞히기'를 아주 잘하는 것이지 '이해'가 아니다.

그래서 환각이 생긴다

여기서 가장 조심할 점이 나온다. 챗봇은 맞는 답도, 틀린 답도 똑같이 자신 있게 말한다. 패턴을 베껴 그럴듯한 문장을 만드는 데는 능하지만, 그 내용이 진짜인지 아닌지는 따로 확인하지 않기 때문이다. 그래서 있지도 않은 사실이나 책, 숫자를 천연덕스럽게 지어내기도 한다. 이걸 '환각(hallucination)'이라고 부른다.

역설적이게도, 챗봇이 막힘없이 술술 대답할수록 우리는 더 믿고 싶어진다. 그러니 거꾸로 하자. 대답이 매끈할수록 한 번 더 멈춰서 '정말 그런가' 확인하는 거다.

무서워할 것도, 미안해할 것도 없다

그렇다고 챗봇을 미워하거나 무서워할 필요는 없다. 사람이 아니니 미안해할 일도 없다. 쓸모는 분명하다. 초안을 빠르게 만들어 주고, 막막한 첫 문장을 대신 떼어 주고, 생각을 정리하는 실마리를 던져 준다.

그래서 크라우니는 이 '새 답을 만드는' 기능을 평소엔 거의 쓰지 않고, 정말 다른 방법이 없을 때 마지막 수단으로만 부른다. 챗봇이 사람이 아니라는 것 — 이 한 가지만 정확히 알아도, 우리는 챗봇을 훨씬 똑똑하게 쓸 수 있다.