안녕하세요! 재니미입니다.

AI 코딩 도구를 쓰다 보면 누구나 한 번쯤 이런 답답함을 겪어보셨을 겁니다.

“코드는 기가 막히게 짜주는데, 정작 패키지 설치에서 에러가 나거나 네트워크 포트가 꼬이면 ’시스템 관리자에게 문의하세요’라며 멈춰버린다.”

지난 1편 「SWE-bench 완전 정복 — GitHub 이슈를 스스로 해결하는 AI의 실전 코딩력」에서 다룬 것처럼 소스코드 자체를 고치는 것도 중요하지만, 실제 개발과 운영의 절반은 터미널 검은 화면(CLI)에서 일어납니다. 환경 설정, 빌드 도구 오류 해결, 도커 컨테이너 배포, 네트워크 포트 점검, 시스템 로그 추적 같은 작업들입니다.

결론부터 말씀드리면, AI에게 진짜 리눅스 터미널을 맡겨도 되는지 검증하는 전문 시험이 바로 Terminal-Bench 4.0입니다. 특히 이 시험에서는 제일 크고 비싼 거대 플래그십 모델이 아니라, 피드백 반응이 빠르고 기민한 중간급 모델들(Claude Sonnet, Kimi 등)이 오히려 상위권을 차지하는 흥미로운 역전 현상이 일어납니다.

이번 글에서는 Terminal-Bench가 터미널 조작 능력을 어떻게 채점하는지, 그리고 왜 이런 결과가 나오는지 알기 쉽게 살펴보겠습니다.

---

1. Terminal-Bench는 어떤 시험일까?

Terminal-Bench는 AI 에이전트에게 가짜 텍스트가 아니라 실제 살아있는 Linux OS 환경을 통째로 넘겨주고, 복잡한 시스템 엔지니어링 문제를 풀게 하는 실전 벤치마크입니다.

flowchart TD
    A["과제 부여<br>(예: 손상된 PostgreSQL 복구 및 Nginx 웹서버 연동)"] --> B["AI 에이전트<br>(리눅스 명령어 생성 및 입력)"]
    B --> C["실제 Linux 컨테이너<br>(명령어 실행 및 결과 화면 반환)"]
    C --> D{"에러 발생 여부 판단<br>(결과 파싱 & 추가 디버깅)"}
    D -- "추가 작업 필요" --> B
    D -- "작업 완료 선언" --> E["자동 채점 스크립트 실행"]
    E -- "서비스 정상 가동 & 포트 응답" --> F["✅ 합격"]
    E -- "설정 오류 또는 서비스 먹통" --> G["❌ 불합격 (0점)"]

주로 이런 과제들을 시킵니다

1. 시스템 관리 (SysAdmin): 데몬 서비스(systemctl) 등록, 방화벽 정책 설정, 파일 및 디렉토리 권한(chmod/chown) 복구.
2. 패키지 및 라이브러리 충돌 해결: 컴파일러 의존성 오류 해결, 파이썬이나 노드 버전이 꼬인 환경을 재구성하여 빌드 성공시키기.
3. 네트워크 및 인프라 트러블슈팅: curl, netstat, lsof 등을 활용해 포트 충돌을 찾아서 풀고 리버스 프록시 라우팅 연결하기.
4. 데이터베이스 복구: 손상된 DB 파일 복구 및 SQL 마이그레이션 스크립트를 에러 없이 끝까지 수행하기.

명령어를 한 번에 완벽하게 치지 못해도 괜찮습니다. 에러 메시지가 뜨면 AI가 그 화면을 직접 보고 다시 다른 명령어를 시도할 수 있습니다. 최종적으로 서버가 정상 가동되어 포트가 열려야만 합격 처리됩니다.

---

2. 왜 제일 비싼 모델이 1등을 못 했을까?

Terminal-Bench 4.0의 성적표는 매우 흥미로운 결과를 보여줍니다. 파라미터가 가장 거대하고 비싼 최상위 플래그십이 무조건 1등을 차지하지 않는다는 점입니다.

기업	모델명	특징	점수	비고
Anthropic	Claude Sonnet 5.5	개발자들이 가장 애용하는 실시간 코딩 워크호스	70.6%	터미널 에러 피드백 루프 해석 1위 (Claude Code 기본 탑재)
Moonshot	Kimi K3.1 Pro	긴 문맥과 강화학습에 특화된 모델	69.4%	방대한 Linux 매뉴얼 학습 및 도구 체인 특화
Zhipu AI	GLM-5 / 5.3	오픈소스 계열 자율 에이전트	68.7%	리눅스 시스템 도구 호출 강화학습 반영
OpenAI	GPT-6 Astra	차세대 최고사양 플래그십	68.2%	두뇌는 뛰어나나 터미널 조작 시 답변이 다소 장황함
OpenAI	GPT-6.1 Sol	기업용 고효율 코딩 모델	67.5%	군더더기 없이 빠른 명령어 생성
Anthropic	Claude Opus 5.5	장기 자율 에이전트 플래그십	66.4%	깊고 신중한 생각(Thinking)으로 인해 단계별 지연 발생
DeepSeek	DeepSeek V4 Pro	가성비 오픈웨이트 추론 모델	65.8%	코드 디버깅은 뛰어나나 OS 특화 파라미터에서 간혹 미스
Google	Gemini 4 Argon	구글 최상위 멀티모달 플래그십	64.0%	대용량 문맥은 강하나 터미널 인터랙티브 제어 반응이 다소 둔화

Sonnet과 Kimi가 터미널에서 더 강한 이유

1. ’깊은 생각’보다 ’빠른 핑퐁’이 중요한 터미널 환경:
   터미널 작업은 한 번에 몇 분씩 수학 문제를 풀듯 심사숙고하는 것보다, “명령어 실행 → 에러 확인 → 1초 만에 다음 명령어 시도”라는 빠른 핑퐁 루프가 훨씬 유리합니다. Opus나 Astra 같은 초거대 모델들은 생각이 너무 깊고 신중하다 보니 터미널 상호작용 속도가 늦어지는 경향이 있습니다.
2. 도구 호출(Tool-Calling) 집중 강화학습:
   Sonnet 5.5는 Anthropic의 공식 CLI 도구인 Claude Code의 엔진으로 집중 튜닝되어 터미널 표준 에러(stderr)를 읽고 대처하는 능력이 극도로 단련되었습니다. Kimi와 GLM 역시 리눅스 시스템 명령어와 트러블슈팅 세션을 학습 단계에서 대량으로 훈련받았습니다.

---

3. DevOps 및 시스템 운영 작업 가이드

서버 관리나 인프라 자동화에 AI 에이전트를 투입하려 한다면 다음 기준을 추천합니다.

1. CI/CD 파이프라인 에러 해결 및 자동 배포 스크립트 작성:
   Claude Sonnet 5.5를 1순위로 추천합니다. 파이프라인이 터졌을 때 빌드 로그 수천 줄을 통째로 던져주면 가장 정확하게 원인을 짚어내고 수정 명령어를 제시합니다.
2. 사내 보안 규정상 외부 클라우드로 로그를 보낼 수 없을 때:
   자체 서버에 올릴 수 있는 오픈웨이트 모델인 GLM-5 또는 DeepSeek V4 Pro를 사내 온프레미스 인프라에 얹어서 터미널 에이전트로 연동하는 것이 보안과 비용을 모두 잡는 현실적인 대안입니다.

---

다음 편 예고

터미널을 다루는 시스템 엔지니어링 능력을 확인했으니, 이제 AI의 순수한 ’두뇌 지능’의 한계를 시험해 볼 차례입니다.

이어지는 3편 「GPQA Diamond 완전 정복 — 구글링으로 안 풀리는 박사급 과학 문제의 비밀」에서는 일반인은 물론이고 대학생 수준에서도 손을 못 대며, 구글 검색으로도 절대 정답을 찾을 수 없도록 설계된 박사급 과학 추론 벤치마크, GPQA Diamond를 파헤쳐 보겠습니다.