안녕하세요! 재니미입니다.

수능이나 자격증 시험이 너무 쉽게 출제되면 어떤 일이 벌어질까요? 만점자가 쏟아져 나와 시험의 변별력이 사라지고, 누가 진짜 실력자인지 가릴 수 없는 ’물시험’이 되어버립니다.

AI 세상에서도 똑같은 일이 벌어졌습니다. 불과 1~2년 전만 해도 난공불락이라 불리던 고교 수학(GSM8K)은 99% 만점이 속출했고, 종합 지식 시험(MMLU)도 90점을 가뿐히 넘겼습니다. 심지어 지난 3편 「GPQA Diamond 완전 정복 — 구글링으로 안 풀리는 박사급 과학 문제의 비밀」에서 다룬 박사급 과학 문제마저 최상위 모델들이 95% 이상을 찍으며 사실상 졸업 단계에 접어들었습니다.

기업들이 저마다 “인간을 뛰어넘었다”고 외칠 때, 전 세계의 인공지능 안전 연구기관(CAIS 등)과 수백 명의 수학자, 물리학자, 철학자들은 다른 결론을 내렸습니다.

“AI가 천재가 된 게 아니라, 인간이 만든 시험지가 너무 쉬워서 똑똑해 보이는 착시일 뿐이다.”

결론부터 말씀드리면, 현존하는 어떤 AI도 절대 100점을 맞을 수 없도록 인류 지식의 최전선에서 작정하고 출제한 난제 집합체가 바로 HLE(Humanity’s Last Exam, 인류 최후의 시험)입니다. 다른 시험에서 90점을 가볍게 넘기던 최상위 플래그십 모델들도 이 시험장에서는 겨우 60%대에 턱걸이하며 쩔쩔매고 있습니다.

이번 글에서는 도대체 어떤 문제들이길래 최첨단 AI들이 좌절하고 있는지, 그리고 이 점수가 왜 중요한지 알기 쉽게 풀어보겠습니다.

---

1. HLE는 왜 만들어졌고, 어떻게 다를까?

HLE는 단순히 외워야 할 양을 잔뜩 늘린 시험이 아닙니다. 수학, 이론물리, 분자생물학, 철학, 법학 등 현대 학문의 최전선에 있는 전 세계 석학 1,000여 명이 크라우드소싱 형태로 참여하여 수천 개의 극한 난제를 출제했습니다.

출제 원칙부터가 가혹합니다.

1. 완벽한 인터넷 검색 차단 (Closed-Web Proof):
   위키피디아, 공개 논문 초록, 교과서 내용을 긁어와서 풀 수 있는 패턴의 질문은 100% 탈락 처리되었습니다.
2. 다학제적 융합 문제:
   한 분야의 지식만으로는 손도 못 대는 문제입니다. 예를 들어 고등 위상수학의 추상적 개념을 분자생물학의 복잡한 단백질 접힘 구조에 적용해 논리적 모순을 찾아내야 하는 식입니다.
3. 독립된 동료 석학 3인의 검증:
   출제자 외에 전 세계 동료 연구자 3명이 따로 풀어보며 “학술적으로 반박할 수 없는 명확한 정답이 존재하지만, 단순 직관이나 찍기로는 절대 도달할 수 없음”을 확인한 문제만 엄선했습니다.

flowchart TD
    A["전 세계 1,000여 명의 석학 출제<br>(수학, 이론물리, 철학, 법학, 생화학)"] --> B["1단계: 단순 검색/패턴 매칭 문항 전량 폐기"]
    B --> C["2단계: 3인 이상의 독립 학자 피어 리뷰"]
    C --> D["인류 최후의 시험 (HLE) 완성<br>⭐ 수천 개의 다학제 극한 융합 문제 ⭐"]
    D --> E["현존 최상위 AI 채점 결과:<br>대부분 40~50%대 / 최상위 플래그십만 60%대"]

---

2. 최신 프론티어 모델 HLE 성적표

다른 시험에서는 90점대를 기록하던 최신 모델들이 HLE 앞에서는 처참할 정도로 겸손한 성적표를 받아 들었습니다.

기업	모델명	특징	HLE 점수 (도구 활용 CoT)	성능 해석
OpenAI	GPT-6 Astra	차세대 최고사양 플래그십	69.1%	다학제 복합 지능 1위. 미지의 문제 구조화 능력 탁월
Anthropic	Claude Opus 5.5	자율 에이전트 플래그십	67.7%	장기 사고(Extended Thinking)로 끈질긴 논리 추적
Anthropic	Claude Fable 5.1	심층 과학 연구 특화 모델	65.0%	과학적 가설 검증 영역에서 부분 정답률 최고
OpenAI	o3 (Reasoning)	추론 특화 모델	62.5%	정밀 수학 연산은 강하나 인문/철학 융합에서 오답 발생
Anthropic	Claude Sonnet 5.5	고속 실시간 코딩/에이전트	61.2%	중간급 워크호스로서 유일하게 60% 돌파
Google	Gemini 4 Argon	대용량 멀티모달 플래그십	59.8%	멀티모달 도표/다이어그램 융합 문제에서 선전
DeepSeek	DeepSeek V4 Pro	오픈웨이트 심층 추론	58.2%	오픈웨이트 최초로 50% 후반 진입 (초격차 축소)
Alibaba	Qwen 3.8-Max	1M 컨텍스트 플래그십	55.0%	아시아 오픈 진영 중 최고점
Moonshot	Kimi K3.1 Pro	롱컨텍스트 추론 플래그십	54.3%	긴 문맥 추론 기반 선전

현재 인간이 만든 인공지능 중 가장 똑똑한 모델조차 이 시험지의 30% 이상은 오답을 내고 있습니다.

---

3. HLE가 증명하는 ‘진짜 두뇌 격차’

“시험이 너무 비현실적으로 어려운데, 실제 시스템 구축에서 이게 무슨 의미가 있나요?“라고 반문할 수 있습니다. 하지만 HLE가 드러내는 점수 차이는 매우 현실적인 시사점을 줍니다.

① 지능의 천장(Intelligence Ceiling) 확인

요즘 가벼운 대화나 이메일 요약, 간단한 코드 작성을 해보면 경량 모델이나 거대 플래그십이나 겉보기에는 다 비슷비슷해 보입니다.
하지만 기업에서 한 번도 겪어보지 못한 전례 없는 위기 상황이나, 여러 시스템이 복잡하게 얽혀 원인을 알 수 없는 초대형 장애를 만났을 때, 50%대 모델과 69%대 모델(GPT-6 Astra, Opus 5.5)이 내놓는 해결책의 깊이는 하늘과 땅 차이로 벌어집니다.

② 자신의 실수를 스스로 고치는 ‘자기 반성(Self-Correction)’ 능력

HLE에서 60%를 넘기는 모델들의 핵심 공통점은 “자신이 방금 내린 가설이 틀렸을 가능성”을 스스로 의심하고 사고 과정을 되짚어 수정할 줄 안다는 점입니다. 확신에 차서 거짓말을 밀어붙이지 않고, 논리적 막다른 길에 다다랐을 때 스스로 발을 빼는 메타 인지 능력이 여기서 확인됩니다.

---

다음 편 예고

글로벌 학술 지능의 최전선을 살펴보았으니, 이제 우리에게 가장 밀접한 한국어 시험장으로 돌아올 차례입니다.

과연 실리콘밸리에서 만든 거대 AI들은 한국의 수능 국어 비문학 지문, 7·9급 공무원 시험, 그리고 의사 국가고시 원본 문제를 던져주었을 때 몇 점이나 받을 수 있을까요?

이어지는 5편 「KMMLU 완전 정복 — 수능부터 의사국시까지 치른 글로벌 AI 성적표」에서는 한국형 전문 지식을 가리는 절대 기준, **KMMLU (Korean MMLU)**를 집중 분석해 보겠습니다.