그래서 어디까지 믿고, 어디에 쓰나
안녕하세요! 재니미입니다.
지난 글 「서술형 대신 OMR, 기존 AI와 뭐가 다른가」에서 Jev가 답을 만드는 방식이 기존 AI와 근본적으로 다르다는 걸 봤습니다. 그런데 여기까지는 회사가 설명하는 내용입니다. 공개 직후라 아직 쌓인 사용 사례가 없으니, 지금 단계에서 맞다 틀렸다를 말하긴 이릅니다. 대신 시간이 지나면 답이 나올 항목들을 정리해두는 편이 낫겠습니다.
형식과 내용은 구분해서 봐야 한다
이건 검증을 기다릴 문제가 아니라 처음부터 구분해두면 되는 것입니다. 형식이 안 틀리는 것과
내용이 안 틀리는 것은 다른 이야기입니다. 결제팀이라고 답할 자리에 소설을 쓰지 않는다는 건
구조적으로 보장됩니다. 하지만 기술지원으로 가야 할 메일을 확신을 갖고 결제팀으로 보낼 가능성은
여전히 남습니다.
창업자 디오구 알메이다(Diogo Almeida)도 공개 당시 이 점을 직접 인정했습니다. “확신을 가지고 틀리는 것도 가능하고, 앞으로 나올 더 똑똑한 모델도 여전히 그럴 가능성을 안고 있을 것”이라고 밝혔습니다. 형식 걱정은 사라지지만, 판단 검증은 그대로 남는다는 뜻입니다.
성능 수치는 아직 회사 기준이다
“200배 빠르다”, “400배 싸다” 같은 수치는 회사 자체 측정값입니다. 비교 대상으로 쓴 다른 모델들도 TypeSafe가 만든 도구로 감싸서 Jev와 같은 형식의 답을 내도록 만든 뒤에 측정했다는 점을 회사가 직접 밝혔습니다. 숨긴 게 아니라 공개한 것이지만, 아직 제3자가 같은 조건으로 재현한 결과는 없다는 뜻이기도 합니다.
논문도, 공개 리더보드 점수도 아직 없습니다. 이건 시간이 해결해줄 항목입니다. 쓰는 사람이 늘면 자연히 독립 측정치가 나올 테고, 그때 숫자가 얼마나 살아남는지 보면 됩니다.
가격이 유지될지는 회사도 모른다
TypeSafe는 “이 가격이 손실을 감수한 보조금 가격이 아니라는 걸 지금 시점에서는 증명할 수 없다”고 직접 밝혔습니다. 대신 가격이 앞으로 오르기보다는 내려갈 거라고 기대한다고 덧붙였습니다.
초기 가격은 원래 바뀔 수 있는 것이고, 이렇게 미리 밝힌 건 오히려 솔직한 편입니다. 다만 1편에서 본 제번스의 역설 논지가 가격에 기대고 있다는 점은 기억해둘 만합니다. 단가가 100분의 1이라는 전제가 흔들리면, 없던 자동화가 새로 가능해진다는 이야기도 함께 흔들립니다.
지금은 적용 범위가 좁다
한 번에 읽을 수 있는 분량이 제한적이라 긴 문서를 통째로 넣기는 어렵습니다. 글자만 받고 이미지는 아직 못 봅니다. 선택지는 255개가 상한이라 분류 항목이 그보다 많은 일에는 못 씁니다. 아직 대기명단 단계라 원하는 사람이 바로 써볼 수도 없습니다.
대부분 초기 제품에서 흔한 제약이고 넓혀갈 수 있는 종류입니다. 다만 지금 당장 업무에 넣을 수 있는지를 따질 때는 이 선이 현실적인 기준이 됩니다.
자기 약점을 문서에 적어둔 점은 눈에 띈다
TypeSafe 공식 문서에는 “Jev의 들쭉날쭉한 지점(jaggedness)“이라는 항목이 따로 있습니다. Jev가 잘 못하는 경우를 회사가 직접 나열해뒀습니다. 숫자를 정확히 세지 못하고, 날짜를 순서가 있는 값이 아니라 그냥 글자로 읽어서 날짜 계산에 약하고, 질문을 문자 그대로 받아들여서 의도와 다르게 해석할 수 있다는 내용입니다.
마케팅 문구만 있는 제품 소개가 흔한데, 이런 문서를 두는 곳은 많지 않습니다. 주장을 검증하는 데도 이 문서가 가장 쓸모 있는 출발점이 될 것 같습니다.
그래서 이걸 어디에 쓰는가
독립 분석들이 대체로 동의하는 결론이 하나 있습니다. Jev는 ChatGPT를 대체하지 않고, 판정 담당으로 옆에 붙는다는 것입니다. 글을 만드는 일 1번당 판정하는 일 10번이라는 비율이 자주 제시됩니다.
이 말이 와닿는 이유가 있습니다. 자동화를 만들어보면 AI에게 사실상 분류만 시키는 구간이 의외로 많습니다. 저도 개인 지식 정리 파이프라인을 대량 자료 흡수, 원인 분석, 최종 문서 작성 세 단계로 나눠 쓰고 있는데, 각 단계 사이마다 항상 같은 판정이 끼어 있습니다. 이걸 다음 단계로 보낼지, 되돌릴지, 아니면 제가 직접 봐야 할지를 정하는 판정입니다. 여기에는 문장력이 전혀 필요 없습니다.
Jev가 제안하는 건 “AI를 바꾸자”가 아니라 “판정 담당을 따로 두자”에 가깝습니다. 그래서 이번 발표가 남기는 질문은 “어느 AI가 더 좋은가”가 아닙니다. 이 일이 애초에 글 쓰는 AI가 할 일이었나 쪽이 더 맞는 질문 같습니다. 이 질문은 Jev가 살아남든 말든 유효합니다. 회사가 문을 닫아도, 판정하는 일과 글 쓰는 일을 나눠서 생각한다는 발상 자체는 남을 것 같습니다.
감사합니다.