서술형 대신 OMR, 기존 AI와 뭐가 다른가
안녕하세요! 재니미입니다.
지난 글 「텍스트를 포기한 AI, Jev는 무슨 모델인가」에서 TypeSafe의 Jev가 뭘 묻고 뭘 답하는 AI인지 정리했습니다. 문장 대신 정해진 형식의 답과 확신도를 돌려준다는 게 핵심이었습니다. 이번 편에서는 이게 기존 AI와 실제로 뭐가 다른지를 봤습니다.
답을 만드는 방식이 다르다
가장 큰 차이는 성능이 아니라 답을 만들어내는 절차입니다.
기존 AI는 글자를 하나씩 이어 씁니다. 휴대폰 자동완성을 상상하면 됩니다. 다음에 올 글자를 예측해서 붙이고, 또 예측해서 붙이고, 이걸 수백 번 반복해 문장을 완성합니다.
Jev는 OMR 답안지를 채우듯 한 번에 끝냅니다. 문제를 보고 모든 보기에 동시에 확률을 매겨 마킹합니다. 회사는 이 구조를 Parallel Sampler라고 부릅니다.
| 방식 | 비유 | 반복 횟수 |
|---|---|---|
| 기존 대형 언어모델 | 서술형 답안을 한 글자씩 써 내려간다 | 글자 수만큼 |
| 확산 방식 모델 | 흐릿한 그림을 여러 번 다듬어 선명하게 만든다 | 10~50회 이상 |
| Jev | OMR 카드에 한 번에 마킹한다 | 1회 |
이 한 가지 차이가 나머지 특성을 대부분 설명합니다.
flowchart LR
A["상태 + 정해진 질문"] --> B["한 번에 계산<br/>(OMR 마킹 방식)"]
B --> C["바로 쓸 수 있는 답<br/>확률 + 확신도"]
B -.->|"글자를 안 만든다"| D["출력 요금 0원"]
B -.->|"한 번에 끝난다"| E["응답 0.1초대"]
B -.->|"형식을 안 만든다"| F["형식 오류 0%"]
출력이 공짜인 이유는 단순합니다. 요금은 보통 만든 글자 수로 매기는데, Jev는 글자를 안 만드니 셀 것이 없습니다. 속도가 빠른 이유도 한 번에 끝나기 때문입니다. 실제로 Doom 게임을 플레이하는 시연에서 0.114초 만에 반응했다고 합니다.
형식 오류가 없다는 주장도 눈여겨볼 만합니다. 기존 AI는 “JSON 형식으로 답해줘”라고 부탁해도 괄호를 안 닫거나 없는 항목을 만들어내는 식으로 틀릴 수 있습니다. Jev는 애초에 형식을 만들지 않고 정해진 칸에 마킹만 하기 때문에, 회사 표현으로는 이런 오류가 “구성상 발생할 수 없다”고 합니다.
확신도를 다루는 방식도 다르다
기존 AI에는 오래된 문제가 하나 있습니다. “확실합니다”라고 자신 있게 말하면서 틀리는 경우가 흔하다는 것입니다. 말투의 자신감과 실제 정답률 사이에 상관관계가 없다 보니, AI 답변을 자동으로 믿고 처리할 수가 없습니다.
여기서 나오는 개념이 보정(calibration)입니다. 일기예보로 설명하면 이해가 쉽습니다. 기상청이 “강수확률 70%“라고 한 날들을 모아봤을 때, 그중 실제로 70%에서 비가 왔다면 그 예보는 잘 보정된 것입니다. 70%라고 한 날 중 30%만 비가 왔다면 그 숫자는 믿을 수 없는 숫자입니다.
TypeSafe는 이 보정을 학습 목표 자체에 넣었다고 설명합니다. 학습 방식의 이름은 RLCD(Reinforcement Learning for Calibrated Decisions, 보정된 판정을 위한 강화학습)입니다. 기존 AI가 사람이 좋아할 답을 목표로 학습하는 RLHF 대신, 확신도 숫자가 실제 정답률과 맞도록 학습한다는 것입니다. 모델이 85% 확신이라고 하면 실제로도 85% 확률로 맞는다는 게 회사의 설명입니다.
이게 사실이라면 실무에서 쓸모가 큽니다. 이런 식의 자동화 기준선을 만들 수 있기 때문입니다.
확신도 95% 이상 → 자동 처리
확신도 70~95% → 자동 처리하되 기록 남김
확신도 70% 미만 → 사람에게 넘김다만 이건 어디까지나 회사 설명입니다. 이 보정이 실제로 어느 정도 정확한지 보여주는 독립적인 검증 자료는 아직 없습니다. 다음 편에서 이 부분을 조금 더 짚어보겠습니다.
그래서 비교 자체가 성립하지 않는다
| 기존 AI(ChatGPT 등) | Jev | |
|---|---|---|
| 답을 받는 대상 | 사람 | 프로그램 |
| 답의 형태 | 자유로운 문장 | 정해진 칸의 값 |
| 좋고 나쁨의 기준 | 얼마나 잘 쓰는가 | 얼마나 빠르고, 형식이 안 깨지고, 확신도가 정확한가 |
| 쓰는 이유 | 글·코드·대화가 필요해서 | 이 구간에는 글이 필요 없어서 |
이 표를 보면 “Jev가 ChatGPT보다 좋은가”라는 질문 자체가 성립하지 않는다는 게 보입니다. 둘은 다른 일을 하는 도구입니다.
감사합니다.