4상 거버넌스 — 티옴타음과 정직성의 공학

거대 LLM의 가장 위험한 습성은, 무엇을 물어도 결국 '예스'에 가까운 답을 한다는 것이다. 모르는 것도 아는 척, 못 하는 것도 할 수 있는 척 매끄럽게 답한다. 다음 단어를 맞히는 기계에는 '모름'이나 '못함'을 출력할 내적 동기가 약하기 때문이다. 환각의 뿌리가 여기 있다. 크라우니의 4상 거버넌스는 바로 이 지점을 겨냥한다. '모름'과 '못함'을 일급 출력으로 만드는 것이다.

네 칸의 신호등

크라우니의 판정은 네 가지 상(相)으로 이루어진다. 티(T, +1)는 예스·확정이다. 답이 맞으면 받아들인다. 옴(O, 0)은 모름·보류다. 확실하지 않으면 멈추고 알아보거나 검증한다. 타(A, −1)는 노·거부다. 틀리면 고치거나 거절한다 — AI도 틀리기 때문이다. 음(U, -0)은 이관이다. 이상하거나 내가 다룰 일이 아니면 멈추고 사람(어른·담당자)에게 넘긴다.

사람들은 흔히 '티' 칸만 멋지다고 여긴다. 그러나 거버넌스의 진짜 힘은 멈추는 칸 — 옴과 음 — 에 있다. 거대 LLM이 무엇이든 티로만 답하며 환각을 내는 것과 달리, 크라우니의 분류기 거대SLM2는 옴(모름)과 음(못함)을 정직하게 출력할 수 있다. '모른다'와 '못 한다'를 말할 줄 아는 것이 더 똑똑한 도구다. 무엇이든 '맞다'고만 하는 도구일수록 더 꼼꼼히 의심해야 한다.

27칸 큐브와 곱셈 0의 의미

거대SLM2는 새 답을 만들지 않는다. 들어온 신호를 판정만 한다. 839줄의 한선씨로 작성된 이 분류기는 27칸 큐브에 신호를 저장한다. 각 칸에는 T(좋은 신호), O(모름), A(나쁜 신호), U(이관)가 들어간다.

여기서 옴(O)의 공학적 의미가 특히 중요하다. 옴은 '곱셈의 0'처럼 작동한다. 즉, 모름 상태는 아무 일도 일으키지 않는다. 확실해지기 전에는 어떤 행동도 촉발하지 않는다는 뜻이다. 거짓 확신으로 잘못된 행동을 일으키는 대신, 모름은 안전하게 '정지'로 귀결된다. 이것은 단순한 비유가 아니라, 불확실성이 사고로 번지지 않게 하는 설계 원리다. 모르면 멈춘다 — 이 한 줄이 환각을 행동으로 옮기지 않게 막는다.

그리고 음(U)은 시스템의 한계를 인정하는 출력이다. 자기가 다룰 일이 아닌 것을 억지로 처리하지 않고, 사람에게 되돌린다. 자동화 시스템이 가질 수 있는 가장 성숙한 능력은, 자기 권한 밖의 일을 '못 한다'고 정직히 말하고 넘기는 것이다.

정직성을 제도로 만들기

교사에게 4상은 평생 쓰는 분별의 틀이다. 새 도구를 만났을 때 티·옴·타·음 네 칸으로 다스리는 습관을 어릴 때 익히면, 어떤 새 AI가 나와도 흔들리지 않는다. 특히 '모르면 멈춘다(옴)'와 '내 일이 아니면 어른께 넘긴다(음)'를 가르치는 것은, AI 교육이자 동시에 안전 교육이고 책임 교육이다.

개발자에게 4상은 출력 스키마 설계 지침이다. 모델의 출력을 '답/무답'의 이진이 아니라 확정·보류·거부·이관의 네 상태로 설계하라. 특히 '보류(옴)'를 행동 차단 게이트로, '이관(음)'을 사람 개입 트리거로 명시적으로 배선하라. 정직한 불확실성 표현은 모델 성능을 깎는 것이 아니라, 시스템 안전을 끌어올린다. 정책가에게 4상은 거버넌스 체크리스트다. 시스템이 '모름'과 '못함'을 출력할 수 있는가, 불확실할 때 행동을 멈추는가, 권한 밖의 사안을 사람에게 이관하는가. 무엇이든 자신 있게 답하는 시스템은 유능한 것이 아니라 위험한 것이다. 정직성은 미덕이기 이전에 공학적 안전장치다.