번외: 경영진이 하네스에 대해 물어야 할 질문 일곱 가지
안녕하세요! 재니미입니다.
지난 글 「하네스를 안전하게 쓰는 아홉 가지 방법」에서는 하네스를 직접 만들고 운영하는 사람이 알아야 할 아홉 가지 방법을 봤습니다. 그런데 ASD·ACSC 가이드는 애초에 엔지니어만 보라고 쓴 글이 아닙니다. 하네스는 조직이 직접 통제하는 대상이라서, 실제로 손을 대는 사람뿐 아니라 그걸 승인하고 책임지는 의사결정권자도 알아야 할 몫이 있습니다. 그래서 가이드 끝에는 이사·임원을 위한 질문 목록이 따로 있습니다. 번외편으로 이어서 정리했습니다.
이 가이드에서는 이사·임원이 구현 세부사항까지 알 필요는 없지만, 다음 질문에는 답할 수 있어야 한다고 말합니다.
일곱 가지 질문
- 비즈니스 성과: 이 에이전트 시스템으로 어떤 비즈니스 성과를 얻으려 하며, 왜 에이전트 방식이어야 하는가? 정해진 순서대로만 처리하면 되는 단순 반복 업무라면 워크플로우로도 충분할 수 있습니다. 그런데도 굳이 모델이 매번 판단하게 열어두는 에이전트 방식을 쓴다면, 그 판단력이 왜 필요한지 답할 수 있어야 합니다.
- 최소 권한 접근: 에이전트가 어떤 데이터·시스템·도구에 접근할 수 있고, 최소 권한 원칙이 지켜지고 있는가? 3편에서 본 권한 시스템 얘기입니다. “이 에이전트가 왜 프로덕션 데이터베이스에 쓰기 권한까지 갖고 있는가” 같은 질문에 바로 답이 나와야 합니다.
- 사람 승인 관문: 에이전트가 할 수 있는 행동은 무엇이고, 그중 어떤 행동에 사람 승인이 필요한가? 지난 글의 2·3번 방법과 이어지는데, 파일 읽기처럼 되돌리기 쉬운 행동과 환불·삭제처럼 되돌리기 어려운 행동을 구분해서, 후자에만 승인 절차를 걸어뒀는지가 핵심입니다.
- 공격 대응: 프롬프트 인젝션, 데이터 포이즈닝 같은 AI 특유의 공격을 어떻게 완화하고 있는가? 4편에서 봤듯 이런 공격은 모델 안에서 완전히 막을 기술적 방법이 없습니다. “모델이 알아서 걸러준다”는 대답은 충분한 답이 아닙니다.
- 감사 가능성: 중요한 결정·도구 호출·행동을 전부 모니터링하고 감사할 수 있는가? 지난 글의 5번 방법인 감사 로그가 실제로 남고 있는지를 묻는 질문입니다.
- 리스크 허용 범위와 가치: 이 시스템이 가치를 내고 있는지, 안전하게 동작하는지, 허용 가능한 리스크 범위 안에 있는지를 어떻게 알 수 있는가? “잘 돌아가는 것 같다”는 인상이 아니라, 비용·정확도·사고 건수 같은 걸 실제로 재는 지표가 있는지를 묻습니다.
- 최악의 시나리오 대비: 하네스가 침해되거나 잘못 설정되거나 조작당한다면 최악의 결과는 무엇이고, 그걸 막거나 제한할 통제는 무엇인가? 4편에서 본 다섯 가지 리스크 범주 중 하나가 실제로 터졌다고 가정했을 때, 피해가 어디까지 번질지 미리 그려본 적이 있는지를 묻는 질문입니다.
질문과 방법을 이어보면
이 일곱 개 중 하나라도 바로 답이 안 나온다면, 그 부분이 지금 이 하네스에서 가장 먼저 손봐야 할 지점입니다. 지난 글에서 본 아홉 가지 방법과 나란히 놓고 보면, 질문 하나하나가 결국 특정 방법으로 연결됩니다. 예를 들어 “감사 가능성”에 답을 못 한다면 감사 로그가 부실하다는 뜻이고, “최악의 시나리오 대비”에 답을 못 한다면 통제된 환경이나 서브 에이전트 격리가 안 돼 있다는 뜻입니다.
즉 아홉 가지 방법이 “뭘 해야 하는가”였다면, 이 일곱 가지 질문은 “그게 실제로 되고 있는지 어떻게 확인할 것인가”에 가깝습니다. 만드는 사람과 승인하는 사람이 같은 걸 두고 서로 다른 각도에서 확인하는 셈입니다.
감사합니다.