안녕하세요! 재니미입니다.

시스템 장애 알림이 울리는 순간, 온콜(On-call) 당직 엔지니어의 머릿속은 수십 가지 가설로 가득 찹니다. 네트워크 설정 오류일까, 최근 배포된 커밋의 버그일까, 아니면 데이터베이스 커넥션 풀 고갈일까? 원인 후보(건초더미)는 여러 개인데, 조사할 수 있는 인간의 손과 눈은 하나뿐입니다.

2026년 10월 26일, OpenAI는 내부 엔지니어들이 실제 시스템 장애와 데이터센터 보안 조사를 처리할 때 자체 에이전트 도구를 어떻게 활용하는지 인터뷰(How Ultrafast cut incident investigation from hours to minutes at OpenAI)를 통해 공개했습니다.

단순히 코드를 짜주는 도구를 넘어, 여러 가설을 동시에 병렬로 탐색하고 엔지니어의 인지 부하를 줄여주는 온콜 협업 파트너로서의 활용 방식을 정리했습니다.

---

1. 슬랙 인시던트 채널에 에이전트 합류시키기

장애가 터졌을 때 엔지니어의 가장 큰 병목은 조사를 순차적으로 진행해야 한다는 점입니다. 가설 A를 확인하느라 로그를 뒤지는 데 20분을 쓰고 나면, 그 사이에 가설 B나 C를 검증할 시간은 뒤로 밀립니다.

OpenAI에서 장애 대응을 지휘하는 아론 프릴(Aaron Friel)은 장애가 발생하면 먼저 전용 슬랙 채널을 열고 에이전트(Codex)를 채널에 투입합니다:

“어떤 장애든 어디서 문제가 생겼는지 수많은 단계가 얽혀 있습니다. 여러 건초더미 속에서 진짜 바늘을 찾아내는 것이 인시던트 채널에 모인 사람들의 핵심 업무입니다. 에이전트를 활용하면 그 모든 건초더미를 동시에 검색할 수 있어 훨씬 빠르게 대응할 수 있습니다.”

인간 엔지니어가 한 가설에 매몰되어 있을 때, 에이전트에게 다른 가설들의 지표와 설정을 동시에 확인하도록 지시하여 전체 조사 시간을 대폭 단축하는 방식입니다.

flowchart TD
    Alert["시스템 장애 알람 발생"]
    Channel["슬랙 인시던트 채널 개설"]
    Agent["에이전트 채널 투입"]
    H1["가설 1: 최근 배포 커밋 및 PR 검토"]
    H2["가설 2: 데이터센터 방화벽·네트워크 상태"]
    H3["가설 3: 사내 슬랙 대화 로그 교차 검색"]
    Eng["엔지니어: 가설 검증 결과 종합 및 의사결정"]

    Alert --> Channel
    Channel --> Agent
    Agent --> H1
    Agent --> H2
    Agent --> H3
    H1 --> Eng
    H2 --> Eng
    H3 --> Eng

---

2. 30초의 법칙: 지연 시간이 엔지니어의 집중력을 결정한다

코어 에이전트 팀의 제프 뉴(Jeff Niu)와 애덤 페리(Adam Perry)는 추론 속도(Latency)가 가져온 인지적 변화를 지적합니다. 바로 30초의 법칙입니다.

질문을 던지고 답을 얻는 데 30초 이상이 걸리면, 사람은 그 틈에 다른 슬랙 채널을 보거나 메일을 확인하게 됩니다. 그리고 다른 곳을 보는 순간 원래 무슨 생각을 하고 있었는지 생각의 흐름(Train of thought)을 놓치고 맙니다.

이전에는 에이전트의 답변이 느려서 “질문을 던져두고 답답해서 본인도 직접 로그를 찾아보는” 분산된 상태(Split attention)가 자주 발생했습니다. 하지만 응답이 실시간 대화 수준으로 빨라지자, 주의력을 빼앗기지 않고 집중을 유지한 채 질문을 꼬리 물며 깊숙이 파고드는 조사가 가능해졌습니다.

추론 속도의 개선은 단순한 시간 단축이 아니라, 엔지니어의 컨텍스트 스위칭 비용을 없애주는 사용자 경험의 혁신인 셈입니다.

---

3. 서버 메트릭 바깥의 비정형 데이터 뒤지기

장애 조사는 대시보드의 숫자나 서버 로그만으로 끝나지 않습니다.

• 데이터센터 보안 분석 시간 단축:
  데이터센터 보안 아키텍트인 AJ 트르보예비치(AJ Trbojevic)에 따르면, 보안 사고 조사 시 정형 지표와 비정형 감사 로그, 설정 데이터를 수집하고 정규화하는 데만 12시간이 걸렸습니다. 현재는 에이전트가 이를 정리해 맥락을 제공하는 과정이 1015분 만에 끝납니다.
• 슬랙 대화 기록 역추적:
  사얀 시소디야(Sayan Sisodiya)는 서버 로그뿐 아니라 사내 슬랙 전체를 검색하는 용도로 에이전트를 씁니다. 혹시 다른 팀 채널에서 비슷한 증상을 겪은 사람이 있는지, 문제가 될 만한 배포 작업을 언급한 대화가 있는지 찾아내는 데 에이전트를 활용합니다.

엔지니어가 일일이 검색창에 키워드를 넣어보며 확인하기 어려운 파편화된 사내 기록을 에이전트가 빠르게 훑어주는 것입니다.

---

4. 리팩터링과 기술 부채에 대한 태도 변화

장애 대응 외에도 흥미로운 점은 코드 수정에 대한 심리적 장벽이 낮아졌다는 대목입니다.

과거에는 기존 코드베이스를 대규모로 갈아엎는 리팩터링이 큰 비용과 시간을 요구했기 때문에 기술 부채를 뒤로 미루기 일쑤였습니다. 하지만 코드를 빠르고 저렴하게 수정할 수 있게 되면서, 평소라면 미뤄두었을 구조 개선 작업도 부담 없이 바로 착수할 수 있게 되었다고 말합니다.

---

💡 요약: 온콜 엔지니어의 병목은 손이 아니라 주의력이다

• 장애 상황에서 에이전트의 핵심 가치는 여러 가설을 동시에 파헤치는 병렬 탐색 능력에 있습니다.
• 응답 시간이 30초 이내로 줄어들 때 엔지니어의 컨텍스트 스위칭이 사라지고 진정한 실시간 협업이 이루어집니다.
• 서버 메트릭뿐 아니라 슬랙 대화 로그 같은 비정형 맥락을 연결할 때 장애 조사 속도가 획기적으로 개선됩니다.