KMMLU 완전 정복 — 수능부터 의사국시까지 치른 글로벌 AI 성적표
안녕하세요! 재니미입니다.
미국 변호사 시험을 1등으로 통과했다는 똑똑한 AI에게 “원룸 월세 계약을 중도 해지할 때 중개수수료는 누가 부담하나요?“라거나 “생애 최초 주택 취득세 감면 조건이 어떻게 되나요?“라고 물어보신 적 있으신가요?
놀랍게도 많은 글로벌 모델들이 한국 법률 대신 미국 캘리포니아 세법 논리를 들이대며 엉뚱한 거짓말을 내놓곤 합니다.
글로벌 빅테크 기업들이 자랑하는 화려한 벤치마크 점수의 대부분은 영미권의 제도와 학술 기준을 따르기 때문입니다. 예전에는 미국 시험 문제를 구글 번역기로 돌려놓고 한국어 시험이라고 우기던 데이터셋도 있었지만, 이는 “한국어로 묻는 미국 시험“에 불과해 국내 실제 업무 환경에서는 활용하기 어려웠습니다.
결론부터 말씀드리면, 한국 땅에서 기업용 서비스를 운영하고 규정집을 검색(RAG)하려면 한국의 현행 세법, 행정 법령, 수능 시험, 한국사 지식을 직접 평가해야 합니다. 이를 위해 국내 연구진(HAERAE-HUB)이 한국의 실제 공인 시험지 원본만을 모아 구축한 국가대표 평가 지표가 바로 KMMLU(Korean MMLU)입니다.
지난 4편 「HLE 완전 정복 — 모든 AI를 좌절시키기 위해 만든 인류 최후의 시험」에서 글로벌 학술 지능의 한계선을 확인했다면, 이번 글에서는 글로벌 AI 모델들이 한국의 실제 시험장에서는 몇 점이나 받는지 알기 쉽게 살펴보겠습니다.
1. KMMLU는 어떤 시험일까?
KMMLU는 미국의 유명 지식 시험인 MMLU 형식을 빌려왔지만, 모든 문항을 한국의 공인 시험 원본에서 직접 추출한 35,030개의 대규모 객관식 벤치마크입니다.
flowchart TD
A["한국 공인 원본 시험지 수집<br>(수능, 5·7·9급 공무원, 변호사, CPA, 의사국시)"] --> B["전문가 감수 및 45개 전문 분야 분류<br>(인문, 사회, STEM, 전문직 시험)"]
B --> C["KMMLU 데이터셋 구축<br>⭐ 35,030개 한국 원문 문항 ⭐"]
C --> D["글로벌 빅테크 vs 국내 LLM 성적 산출"]
주로 이런 시험지들을 그대로 풀게 합니다 (총 45개 분야)
- 인문·사회과학: 수능 한국사, 한국 지리, 윤리와 사상, 사회문화, 정치와 법
- 전문직 국가고시: 변호사 시험, 공인회계사(CPA), 공인노무사, 세무사, 관세사
- 의학 및 보건: 의사 국가고시, 한의사 국가고시, 간호사 국가고시, 약사 시험
- 기술 및 국가기술자격: 정보처리기사, 전기기사, 토목기사, 건축기사 등
번역투 문장이 단 하나도 섞이지 않은 100% 토종 한국어 시험지이기 때문에, 한국의 사회 제도와 법률 체계를 진짜로 이해하고 있는지 가려내는 완벽한 리트머스 시험지 역할을 합니다.
2. 최신 모델별 KMMLU 성적표
한국 전문 시험지 앞에 선 글로벌 모델들과 국내외 주요 AI들의 실제 성적표입니다.
| 기업 / 진영 | 모델명 | 특징 | KMMLU 점수 | 한국어 전문 지식 분석 |
|---|---|---|---|---|
| OpenAI | GPT-6.1 Sol / Astra | 글로벌 범용 플래그십 | 88.2% | 방대한 한국어 학습량으로 법률/행정 종합 1위 |
| Anthropic | Claude Opus 5.5 | 자율 에이전트 플래그십 | 87.5% | 한국어 장문 문맥과 복잡한 문제 조건 파악 탁월 |
| Anthropic | Claude Sonnet 5.5 | 실시간 코딩/업무 표준 모델 | 86.5% | 업무 보조용으로 가장 균형 잡힌 한국어 지식 |
| Alibaba | Qwen 3.8-Max | 1M 컨텍스트 플래그십 MoE | 86.0% | 오픈웨이트 1위. CJK 한자 문화권 데이터 덕분에 한국 고시 완벽 이해 |
| Gemini 4 Argon | 대용량 멀티모달 플래그십 | 84.5% | 이공계 기사 자격증 및 수능 과학탐구에서 강세 | |
| DeepSeek | DeepSeek V4 Pro | 가성비 오픈웨이트 추론 모델 | 83.2% | 수학/물리/자격증 만점권, 한국사/법률 일부 감점 |
| Alibaba | Qwen 3.7-Plus | 고성능 가성비 워크호스 | 82.4% | 저렴한 비용 대비 훌륭한 한국어 전문 지식 |
3. 시험 결과가 알려준 흥미로운 사실들
① 중국 알리바바 Qwen의 뛰어난 한국어 실력 (86.0%)
서구권 모델만 한국어를 잘할 것이라는 편견을 Qwen이 보기 좋게 깨뜨렸습니다. 지리적으로 인접한 CJK(한중일) 한자 문화권 데이터가 풍부하게 녹아있다 보니, 한국의 고유 법령 조항이나 어려운 행정 한자어를 미국계 모델보다 오히려 더 매끄럽게 해석하는 능력을 보여줍니다.
② 글로벌 프론티어 모델들의 한국어 전문성
글로벌 모델들이 번역 데이터가 아닌 한국의 공인 시험 원본을 풀었음에도 80%대 중후반의 높은 성적을 냈다는 점은 주목할 만합니다. 방대한 사전 학습 데이터와 다국어 추론 역량을 바탕으로, 한국의 고유한 행정·법률 규정이나 전문 자격증 시험에서도 실용적인 수준의 이해도를 보여주고 있습니다.
4. 국내 서비스 및 시스템 도입 가이드
사내에서 한국어 문서를 다루는 AI 도구를 선택할 때는 다음 기준을 권장합니다.
- 사내 법률 검토, 세무/회계 지원, 공공기관 민원 AI 비서:
GPT-6.1 Sol이나 Claude Sonnet 5.5를 1순위로 추천합니다. 86~88%의 높은 점수로 한국 전문 규정 해석에서 오답률이 가장 낮습니다. - 비용을 아끼면서 한국어 전문 검색(RAG) 파이프라인 구축:
Qwen 3.8-Max 또는 Qwen 3.7-Plus를 추천합니다. 토큰 비용이 매우 저렴할 뿐만 아니라 한글 토큰 압축률이 우수하여, 수천 페이지의 사내 한국어 규정집을 벡터 DB에 넣고 돌릴 때 최상의 가성비를 발휘합니다.
다음 편 예고
객관식 시험 문제는 기막히게 잘 맞히는데, 막상 고객과 대화를 나눠보면 “반말과 존댓말이 뒤섞인 어색한 번역투“를 남발한다면 실제 대고객 서비스에 쓸 수 있을까요?
벤치마크 딥다이브 시리즈의 대미를 장식할 마지막 6편 「HAERAE Bench 완전 정복 — 한국어 문화와 뉘앙스를 측정하는 법」에서는, 한국의 고유 문학, 관용구, 존댓말 체계, 그리고 섬세한 문화적 뉘앙스를 측정하는 **HAERAE Bench (해래 벤치)**를 해부해 보겠습니다.