LLM의 작동원리 — '다음 말 맞히기'와 환각

챗봇(LLM)에는 마음도, 기분도, 바람도 없다. 이것은 다정함을 위해 누그러뜨린 표현이 아니라 정확한 기술적 사실이다. LLM이 하는 일은 딱 하나, '다음에 올 단어를 맞히는 것'이다. 아주 커다란 자동완성이라고 보면 된다. 그래서 우리는 LLM을 두고 '생각한다·느낀다·원한다'고 말하지 않는다. '고른다·맞힌다·되비춘다·계산한다'고 말한다.

확률로 칸을 채우는 기계

작동을 단순화하면 이렇다. '크라우니는 좋은 ___'이라는 문장의 빈칸을, LLM은 본 적 있는 후보들 중에서 더 자주 본 쪽을 골라 채운다. 예를 들어 '도구' 60%, '회사' 30%, '친구' 10% 같은 분포에서 한 칸을 고른다. 이 과정에 '크라우니가 정말 무엇인지'에 대한 이해는 없다. 패턴을 복사해 그럴듯한 다음 단어를 잇는 것이다. 그래서 LLM은 앵무새나 거울에 가깝다. 우리가 준 말을 패턴으로 되비출 뿐, 무엇을 '안다'고는 못 한다.

이 원리에서 환각(hallucination)이 곧바로 따라 나온다. LLM은 맞는 답과 틀린 답을 똑같이 자신 있게 말한다. 빈칸을 채우는 데 '자신감'이라는 내부 진위 감각이 따로 없기 때문이다. 그럴듯하게 이어지는 단어열이면 사실 여부와 무관하게 매끄럽게 출력된다. 그래서 역설적으로, 챗봇이 막힘없이 술술 대답할수록 한 번 더 멈춰 확인해야 한다. 유창함은 정확함의 보증이 아니다.

무서워할 일도, 미안해할 일도 아니다

이 사실은 LLM을 깎아내리려는 것이 아니다. LLM에는 분명한 쓸모가 있다. 빠르게 초안을 만들고, 표현을 바꾸고, 막힌 생각의 물꼬를 터 준다. 다만 그 쓸모의 정확한 위치를 알아야 한다. LLM은 '맞는 답을 보증하는 장치'가 아니라 '그럴듯한 후보를 빠르게 내놓는 장치'다. 보증은 다른 부품이 맡아야 한다.

그래서 크라우니는 이 생성 기능을 평소에 거의 쓰지 않는다. LLM(Opus 등)은 여러 부품 중 하나일 뿐이고, 규칙·검색·분류로 풀리지 않는 일이 남았을 때 '음' 경로의 마지막 수단으로만 호출된다. 생성이 비싸고 불확실하다는 것을 알기에, 일부러 가장 뒤에 둔 것이다.

의인화를 끊는 일의 무게

교사에게 이 장의 실천은 분명하다. 학생이 챗봇에게 "미안해"라고 말하거나 "얘가 화났어"라고 느끼는 순간, 부드럽지만 또렷하게 바로잡아 줘야 한다. 챗봇은 인격이 아니라 '다음 단어를 맞히는 계산'이다. 이 구분은 차가운 것이 아니라 오히려 학생을 보호한다. 기계에 감정을 투사하지 않는 아이가, 기계의 말을 더 침착하게 검증한다.

개발자에게 이 장은 '신뢰 경계 설정'이다. LLM의 출력은 입력이지 결론이 아니다. 유창함을 신뢰 신호로 오해하지 말고, 사실성·실행 가능성은 항상 모델 바깥에서 검증해야 한다. 정책가에게 이 장은 '책임 귀속의 출발점'이다. LLM이 자신 있게 말했다는 사실은 면책 사유가 될 수 없다. 환각은 결함이 아니라 작동원리에서 따라 나오는 성질이고, 그래서 사람의 검증과 책임이 반드시 따라붙어야 한다.

다음 장에서는 바로 그 검증을 시스템으로 만든 사례 — 만든 답을 만든 자가 채점하지 않게 떼어 놓는 501브리지를 본다.