생성과 검증의 분리 — 501브리지라는 채점기

이 책에서 가장 중요한 한 줄은 이것이다. "만든 사람에게 채점을 맡기지 마라." LLM에게 "이 답 맞아?"라고 물으면 거의 언제나 "맞아요"라고 한다. 자기 출력을 검증할 독립적 기준이 모델 안에 없기 때문이다. 생성한 주체가 채점까지 하면, 틀린 답이 검사 없이 통과한다. 그래서 크라우니는 '만드는 AI'와 '검사하는 AI'를 구조적으로 분리한다.

컴파일이라는 객관적 채점

분리의 핵심 장치가 501브리지다. 삼진생성기 같은 부품이 코드를 만들면, 501브리지는 그 코드를 실제로 컴파일한다. 통과하면 신뢰하고, 실패하면 거부한다. 여기서 채점 기준은 LLM의 자기 확신이 아니라 '정말로 컴파일되는가'라는 외부의 객관적 사실이다. 모델이 아무리 자신 있게 내놓아도, 컴파일이 실패하면 그 답은 거부된다. 모델이 머뭇거려도, 컴파일이 통과하면 그 답은 신뢰된다. 판정의 권한이 모델의 말솜씨에서 실행 가능한 검증으로 옮겨 간 것이다.

이것은 소프트웨어 공학의 오래된 원리를 AI에 적용한 것이기도 하다. 생성과 검증의 관심사 분리, 그리고 '주장'이 아니라 '실행 결과'로 판정하는 테스트 주도의 사고다. AI가 만든 산출물에 이 원리를 붙이면, 환각의 상당 부분이 검증 게이트 앞에서 걸러진다. 그럴듯하지만 돌아가지 않는 코드는 통과하지 못하기 때문이다.

사람이 정한 시각에, 부지런히

501브리지는 데몬으로 가동된다. LaunchAgent com.crowny.bridge501로 등록되어 매일 10:10에 자동으로 수확·검증·보고한다. 새로 쌓인 답들을 모아 컴파일로 채점하고, 통과/실패를 기록으로 남기며, 그렇게 시스템은 매일 조금씩 개선된다. SLM 본체는 모델0 서버 포트 :9501에서 가동된다.

여기서 표현을 정확히 해야 한다. 501브리지가 '스스로' 똑똑해지는 것이 아니다. 사람이 정해 둔 시각에, 사람이 짜 둔 절차대로 부지런히 채점하고 기록할 뿐이다. '매일 조금씩 개선된다'는 말은 신비한 자기진화가 아니라, 검증을 통과한 좋은 패턴이 누적되고 실패가 걸러지는 결과다. 자동화는 자율이 아니다. 자동화된 검증조차 그 기준과 일정과 책임은 사람에게 있다.

다스리는 사람의 다섯 동작

도구를 다스리는 사람은 다섯 가지를 한다. 잘 묻고, 답이 맞는지 확인하고, 틀리면 고치고, 끌 줄 알고, 책임은 사람이 진다. 501브리지는 이 중 '확인'을 사람의 눈대중에서 자동 채점기로 끌어올린 장치다. 다만 나머지 넷 — 무엇을 물을지, 무엇을 고칠지, 언제 멈출지, 누가 책임질지 — 는 여전히 사람의 몫으로 남는다.

개발자에게 이 장은 직접적인 설계 지침이다. AI 산출물 파이프라인에는 생성기와 독립된 검증기를 반드시 두라. 가능하면 컴파일·테스트 실행·정적 검사처럼 모델의 자기평가에 기대지 않는 객관적 게이트를 써라. 정책가에게 이 장은 평가 프레임이다. AI 시스템을 심사할 때 "생성과 검증이 분리되어 있는가, 검증 기준은 무엇이며 누가 정했는가, 실패 기록은 남는가"를 물어야 한다. 교사에게 이 장은 한 문장으로 압축된다. 답을 받은 사람이 채점도 하면 안 된다는 것. 이것은 AI만의 규칙이 아니라, 아이가 자기 숙제를 검산할 때도, 어른이 자기 일을 점검할 때도 통하는 보편 원리다.