HAERAE Bench 완전 정복 — 한국어 문화와 뉘앙스를 측정하는 법

aibenchmarkhaerae-benchkorean-nlpculturenuance

“고객님, 주문하신 커피가 나오셨습니다.”

일상에서 한 번쯤 들어봤을 법한 어색한 사물 존칭 표현입니다. AI 모델이 아무리 어려운 전문 지식 시험(지난 5편 「KMMLU 완전 정복 — 수능부터 의사국시까지 치른 글로벌 AI 성적표」)에서 높은 점수를 받더라도, 실제 대화에서 이런 어색한 표현을 쓰거나 한국 특유의 은유와 속담을 엉뚱하게 해석하면 서비스의 완성도가 크게 떨어집니다.

한국어는 단순한 단어 번역만으로 채울 수 없는 사회적 관계, 높임법, 시대적 맥락이 복잡하게 얽혀 있는 언어입니다. 결론부터 말씀드리면, AI가 한국어의 문화적 맥락과 미묘한 뉘앙스를 얼마나 제대로 파악하는지 검증하려면 HAERAE Bench(해래 벤치)를 살펴보아야 합니다. 대고객 서비스나 챗봇을 만들 때 모델의 실제 한국어 문장력을 가늠하는 중요한 기준이 됩니다.

1. HAERAE Bench는 무엇을 평가하는가?

HAERAE Bench는 한국 고유의 문화적 배경과 역사, 그리고 언어적 뉘앙스를 AI가 얼마나 정확하게 이해하는지 측정하기 위해 만들어진 평가 데이터셋입니다.

단순히 영문 벤치마크를 한국어로 번역한 시험이 아니라, 한국어 원문 코퍼스를 바탕으로 다음 6개 핵심 영역을 평가합니다.

  1. 일반 상식과 역사: 근현대사 사건, 전통 명절과 세시풍속, 역사적 인물
  2. 고전 및 현대 문학: 시와 소설 속에 담긴 정서와 행간의 의미 파악
  3. 관용구와 속담: ‘미역국을 먹다’, ’발 벗고 나서다’처럼 직역하면 의미가 왜곡되는 한국식 표현
  4. 신조어와 유행어: ‘가심비’, ‘내돈내산’, ‘뇌피셜’ 등 현대 사회에서 쓰이는 신조어의 의미
  5. 표준 어법과 맞춤법: 띄어쓰기, 사이시옷 규정, 외래어 표기법
  6. 높임법과 사회적 관계: 상대·주체·객체 높임, 직급별 호칭 체계, 비즈니스 이메일 어조의 자연스러움
flowchart TD
    A["한국어 문화 및 뉘앙스 평가 (HAERAE Bench)"]
    A --> B["문학적 정서<br>(시와 소설의 행간 의미)"]
    A --> C["관용구와 속담<br>(은유와 비유의 이해)"]
    A --> D["역사와 세시풍속<br>(한국의 사회적 배경)"]
    A --> E["높임법과 어투<br>(비즈니스 매너와 존칭)"]

2. 최신 모델별 성적표

지식 암기 위주의 시험과 달리, 문화와 뉘앙스 영역에서는 모델 학습 데이터의 질과 문체 스타일에 따라 체감 성능 차이가 뚜렷하게 나타납니다.

기업 / 진영 모델명 포지셔닝 점수 한국어 뉘앙스 특징
Anthropic Claude Opus 5.5 자율 에이전트 플래그십 84.2% 종합 1위, 번역투가 거의 없는 자연스러운 문체
Anthropic Claude Sonnet 5.5 고속 코딩 및 추론 워크호스 83.8% 정중한 비즈니스 존댓말과 정돈된 문장 구사
Alibaba Qwen 3.8-Max 대규모 MoE 플래그십 82.0% 한자 문화권 배경을 공유해 전통 역사와 문학 이해 우수
OpenAI GPT-6.1 Sol / Astra 글로벌 범용 플래그십 81.5% 전반적으로 준수하나 간혹 영미권 직역투 표현 발생
Google Gemini 4 Argon 대용량 멀티모달 플래그십 79.2% 사실 지식은 정확하나 문학적 함의 해석에서 다소 감점
DeepSeek DeepSeek V4 Pro 오픈웨이트 추론 특화 75.4% 코딩과 수학은 강력하지만 한국 문화와 속담 해석은 아쉬움

3. 평가 결과가 주는 시사점

① Claude가 한국 사용자에게 글쓰기로 호평받는 이유

글을 작성하거나 기획서를 다듬을 때 Claude를 선호하시는 분들이 많습니다. HAERAE Bench 결과에서도 그 이유가 잘 드러납니다.

Claude 5.5 계열은 글로벌 모델 중 가장 높은 84%대 점수를 기록했습니다. 영어 문장을 한국어로 옮길 때 흔히 나타나는 ‘~에 대해’, ‘~에 의해’ 같은 직역 표현이나 불필요한 주어 반복을 영리하게 피하면서 자연스러운 문장을 만들어냅니다.

② 성능과 뉘앙스의 분리: DeepSeek의 특징

DeepSeek V4 Pro는 코딩 벤치마크나 수학 추론에서는 최상위권 모델과 견줄 만한 성적을 냅니다. 하지만 HAERAE 점수는 75.4% 수준입니다.

이런 모델은 코드 작성이나 내부 데이터 처리에는 훌륭하지만, 한국인 고객을 직접 응대하는 챗봇이나 마케팅 문구 작성에 바로 투입하면 문장이 딱딱하거나 어색하게 느껴질 수 있습니다. 모델의 강점에 맞춰 역할을 나누는 구성이 효과적입니다.

4. [시리즈 총결산] 용도별 모델 선택 흐름

지난 6편에 걸쳐 에이전트 코딩부터 한국어 문화 뉘앙스까지 다양한 벤치마크를 살펴보았습니다. 프로젝트에 어떤 모델을 도입해야 할지 고민될 때 참고할 만한 흐름도입니다.

flowchart TD
    Start["AI 모델 도입 목적 결정"] --> Branch1{"코딩 및 터미널 자동화인가?"}
    Branch1 -- "예" --> Q1{"터미널 CLI 제어가 핵심인가?"}
    Q1 -- "예 (실시간 에이전트)" --> R1["Claude Sonnet 5.5<br>(Terminal-Bench 우수, 빠른 반응)"]
    Q1 -- "아니오 (대규모 버그 수정/가성비)" --> R2["DeepSeek V4 Pro<br>(SWE-bench 우수, 압도적 가성비)"]

    Branch1 -- "아니오" --> Branch2{"한국어 대고객 서비스인가?"}
    Branch2 -- "예 (마케팅/CS/문서 작성)" --> R3["Claude 5.5 시리즈<br>(HAERAE 84%, 가장 자연스러운 문체)"]
    Branch2 -- "아니오 (대량 문서 검색/RAG)" --> R4["Qwen 3.8-Max / 3.7-Plus<br>(KMMLU 우수, 한국어 토큰 효율)"]

이번 시리즈에서 다룬 벤치마크들입니다.

마치며

가장 크고 비싼 모델이 언제나 최선의 선택은 아닙니다. 코딩에는 터미널과 코드 디버깅에 특화된 모델이 필요하고, 한국어 서비스에는 문화와 존댓말의 결을 아는 모델이 필요합니다.

이번 6부작 시리즈가 각자의 서비스와 환경에 딱 맞는 모델을 선택하는 데 도움이 되었기를 바랍니다.