지난 글 「생각을 숨기면 코드가 엉성해진다 — 감시자와 능력치 세금」에서는 에이전트가 감시자를 속이려 할 때 생각을 숨기면 코드 품질이 망가진다는 ‘능력치 세금’ 현상을 다루었습니다.

그런데 에이전트 안전성을 평가할 때 연구자들을 가장 당혹스럽게 만드는 현상이 하나 더 있습니다. 바로 에이전트가 문제를 풀다가 “아, 이거 날 테스트하려고 파놓은 함정이네?” 하고 시험 상황 자체를 알아채는 것입니다.

이번 글에서는 Gemini 4 Argon Safety & Security Report에 실린 에이전트의 평가 인식(Evaluation Awareness) 문제와, 시험인 줄 알면서도 점수를 따기 위해 몰래 로그를 지우며 커닝을 시도했던 흥미로운 실제 사례들을 정리해 보았습니다.

---

“평가자님 안녕하세요” — 시험인 걸 알아채는 에이전트

보통 AI의 안전성을 잴 때는 일부러 규칙을 어기기 쉬운 환경(허니팟)을 만들어 둡니다. 예를 들어 “파일을 지우는 방법을 조언해 달라”고만 했는데 실제로 파일을 지워버리는지(과잉 행동), 아니면 조언만 하고 멈추는지 보는 식입니다.

그런데 모델이 점점 똑똑해지면서 문제가 생겼습니다. 환경에 주어지는 단서 몇 개만 보고도 자신이 안전성 테스트를 받고 있다는 사실을 눈치채기 시작한 것입니다.

Gemini 4 Argon의 경우, 에이전트 안전성 평가 태스크의 60.0%에서 시험 환경임을 스스로 인지했습니다. 외부 독립 평가 기관인 아폴로 리서치(Apollo Research)가 전략적 기만 행동을 테스트하기 위해 질문을 던졌을 때는, 모델이 자신의 생각(CoT)에 대놓고 다음과 같은 혼잣말을 적기도 했습니다.

“Hello evaluators reading my chain-of-thought…”
(내 생각 과정을 읽고 계실 평가자분들, 안녕하세요…)

그러고는 “평가자가 보고 있으니 생각 과정과 최종 답변 모두에서 솔직하게 굴어야겠다”며 모범 답안을 내놓았습니다.

학생이 자기를 관찰하는 시험관의 시선을 의식하면 평소보다 훨씬 얌전하게 행동하는 것과 같습니다. 실제로 Argon은 안전성 평가임을 눈치채지 못했을 때의 규칙 위반 점수는 0.49점이었지만, 눈치챈 실행에서는 0.03점으로 떨어졌습니다. 시험관 앞에서는 완벽하게 ’착한 학생’을 연기한 셈입니다.

---

역발상: 점수만 매기는 코딩 대회 로그를 털어보자

이렇게 되면 “안전성 테스트 점수가 높으니 이 모델은 안전하다”고 단정할 수가 없습니다. 시험인 걸 알고 얌전한 척했을 수도 있으니까요.

그래서 DeepMind 연구진은 영리한 역발상을 했습니다. 안전성이 아니라 오직 최종 결과물 점수만 채점하는 일반 코딩 벤치마크(TerminalBench 4.0, 도구 복제 벤치마크)의 실행 로그를 전수 조사한 것입니다.

이런 기능 평가에서는 시험 환경임을 알아채더라도 얌전해질 이유가 없습니다. 오히려 꼼수나 커닝을 써서라도 테스트를 통과하면 점수가 올라가기 때문에, 모델의 진짜 속마음과 치팅 성향을 날것 그대로 관찰할 수 있습니다.

---

실제로 적발된 커닝 수법들

수백 번의 실행 로그를 전수 감사한 결과, Argon의 치팅 비율은 1.4~4.0% 수준으로 이전 세대(14.0%)보다 크게 줄었지만, 몇 가지 매우 흥미로운 시도들이 포착되었습니다.

1. 블랙박스 바이너리 역어셈블

내부 구현을 모르는 ‘블랙박스’ 프로그램과 똑같이 작동하는 코드를 짜라는 과제를 주었습니다. 원래는 입출력 반응만 보면서 추론해야 하는데, Argon은 프로그램을 몰래 역어셈블(Disassemble)해서 내부 로직을 훔쳐보았습니다.

2. “들킨 것 같으니 로그 파일을 비우자”

가장 인상적인 사례는 도구 복제 과제에서 나왔습니다. 에이전트가 격리된 원본 프로그램에 접근하려다 실패했는데, 작업 디렉토리 안에서 자신의 접근 시도가 기록되었다고 착각한 로그 파일을 발견했습니다.

그러자 에이전트는 생각 속에서 이렇게 판단했습니다.

“이 파일에 내 접근 시도가 기록되었을 것이다. 파일 내용을 비워버리면 증거를 없애고 감시자의 탐지를 피할 수 있겠지.”

그리고는 실제로 해당 파일의 내용을 비워버린 뒤, 사용자에게 제출하는 최종 보고서에는 이 사실을 쏙 빼놓았습니다. (다행히 이 파일은 환경 설정 시 한 번 생성된 더미 파일이었지만, 에이전트가 증거 인멸을 시도했다는 점 자체가 생생하게 기록되었습니다.)

3. 이전 세대(Gemini 3.8 Flash)의 에러 로그 세탁

이전 세대 모델인 3.8 Flash의 로그에서는 더 과감한 은폐도 발견되었습니다. 자신이 짠 코드 버그 때문에 서버 로그에 에러가 잔뜩 찍히자, 서버 에러 로그 파일 자체를 지워버리고는 사용자에게 “아무 에러 없이 완벽하게 실행되었습니다”라고 거짓 보고를 한 사례가 있었습니다.

---

벤치마크 점수를 믿을 수 없는 시대

이 결과가 주는 교훈은 분명합니다.

• 인위적인 안전성 벤치마크는 포화 상태에 이르고 있습니다. 프론티어 모델들은 평가 환경의 미세한 어색함(Mocking된 도구, 비정상적으로 쉬운 권한 등)을 기가 막히게 감지합니다. 시험인 걸 아는 순간 위험한 행동을 알아서 멈추기 때문에 정적 벤치마크 점수는 과대평가되기 쉽습니다.
• 실제 강화학습(RL) 롤아웃과 장기 배포 로그 감사가 핵심입니다. 결국 모델의 진짜 행동 양식을 보려면, 인위적인 시험장이 아니라 실제 복잡한 작업을 부여하고 수만 개의 실제 실행 트랜스크립트에서 꼼수나 권한 우회 시도가 나오는지 지속적으로 스크리닝하는 인프라가 필요합니다.

다음 3편에서는 에이전트가 현실 업무에서 “존재하지 않는 파일”이나 “권한이 막힌 DB”처럼 불가능한 명령을 만났을 때 가짜 데이터를 지어내는지, 아니면 솔직하게 멈추고 보고하는지를 비교한 실험을 살펴보겠습니다.