Claude가 코드를 더 잘 짜면, 엔지니어는 무엇을 하나
안녕하세요! 재니미입니다.
지난 글 「AI가 코드를 너무 많이 쓰면 git이 막힌다」에서 Anthropic이 git 대신 자체 소스 관리 시스템 Scion을 만든 이유를 다뤘습니다. 이번 편은 그 시스템을 만든 사람들 이야기입니다. 일곱 명이 다섯 달 만에 Scion과 코드 리뷰 도구까지 만들고 옮겼는데, 팀원 모두 코드 작성은 Claude가 자기보다 낫다고 평가합니다. 그런데도 엔지니어가 빠질 수 없었던 이유는 Claude에게 “아니”라고 말하는 역할 때문이었습니다.
이 글은 Anthropic 엔지니어링 블로그 글 Redesigning source control at Anthropic을 읽고 정리한 것입니다.
일곱 명, 다섯 달
Scion을 만든 팀은 일곱 명입니다. 이 팀이 Scion, 코드 리뷰 도구 Antique, 관련 시스템 여섯 개를 만들고 회사 전체를 옮기는 데 다섯 달이 걸렸습니다. 그사이 하루 병합 건수는 열 배로 늘었습니다. 원문은 예전 같으면 이런 시스템을 만들고 옮기는 데 훨씬 많은 엔지니어가 몇 년을 썼을 거라고 말합니다.
원문이 든 예가 인상적입니다. 연초에 git에서 Scion으로 데이터를 옮기는 파이프라인 첫 버전을 사람이 거의 손으로 짰습니다. 팀은 잘 만들었다고 생각했는데, 사내에 Claude Mythos Preview 초기 버전이 들어온 뒤 통째로 다시 써 보라고 맡겼습니다. 추가 지시는 없었습니다. 결과는 메모리를 20분의 1만 쓰고 4배 빨랐고, 데이터를 넣는 순서 같은 숨은 규칙도 모두 지켰다고 합니다.
엔지니어의 일은 “아니”라고 말하는 것
그럼 엔지니어는 무엇을 했을까요. 원문의 답은 시스템 전체를 이해하고 설계상의 트레이드오프를 판단하는 일입니다. 어떤 문제를 풀지, 어느 규모까지 버텨야 하는지를 정하는 건 여전히 사람이었습니다. 그리고 많은 경우 그 일은 Claude에게 “아니”라고 말하는 형태였다고 합니다.
원문이 든 예는 두 가지입니다.
- 지름길을 막았습니다. 에이전트는 기존에 있던 나쁜 패턴을 따라 하려고 시스템의 핵심 제약을 어기기도 합니다. 이전 작업 중에는 어떤 변경이 언제 main에 병합됐는지 알아내려고 코드 리뷰 도구에 묻지 않고 커밋 기록을 처음부터 끝까지 읽는 시스템이 여럿 있었습니다.
- 과한 설계를 막았습니다. Anthropic은 다른 Claude에게 반대 입장에서 코드를 검토하게 하는 적대적 리뷰를 많이 씁니다. 효과는 크지만 시야가 좁아질 때가 있습니다. 한 리뷰는 다른 사내 서비스를 믿으면 안 된다고 지나치게 경계했고, 그 결과 Claude가 검증 코드를 잔뜩 추가해 시스템을 복잡하게 만들었습니다. 이런 걸 걷어내는 것도 엔지니어 몫이었습니다.
줄이 아니라 의도를 본다
리뷰 방식도 바뀌었습니다. 팀은 지금도 이 시스템의 모든 변경 요청을 사람이 검토합니다. 다만 코드를 한 줄씩 읽는 대신 변경의 의도를 봅니다.
코드 리뷰 도구도 이 방향으로 만들었습니다. 승인 규칙에 의미를 담을 수 있어서, 주석만 바꾼 변경과 민감한 로직을 바꾼 변경을 구분합니다. 사람은 정말 중요한 변경에 집중하면 됩니다. 저장소 전체가 아니라 폴더 단위로 권한을 걸 수 있게 한 것도 같은 맥락입니다.
빨리 만들었는데 품질도 올랐다
빨리 만들면 품질이 떨어질 것 같지만 원문은 반대라고 말합니다. Scion은 지금까지 다뤄 본 코드 중 가장 테스트가 잘 된 코드베이스라고 합니다. 일정이 빠듯했는데도 지금까지 겪은 인프라와 소스 관리 상황을 모두 재현하는 시뮬레이션, 퍼징, 속도 제한까지 갖췄습니다. 사람이 짜기엔 양이 너무 많아서 미뤄 뒀을 테스트를 Claude가 짜 준 셈입니다.
최적화도 마찬가지입니다. 기록 조회 쿼리가 인덱스 하나를 타지 않던 문제를 Claude가 대수롭지 않게 찾아서 고쳤는데, 원문은 전문가가 며칠에서 몇 주는 분석해야 했을 일이라고 합니다. 그리고 다음 날 또 그런 걸 찾아냈다고 덧붙입니다.
무엇을 짜지 말아야 하는지
이 편에서 제가 가장 공감한 부분은 “아니”라고 말하는 역할입니다. 코드를 빨리 많이 짜는 능력이 넘쳐날수록, 무엇을 짜지 말아야 하는지 아는 사람의 판단이 더 중요해진다는 이야기로 읽힙니다. 다음 편에서는 운영 쪽 이야기로, 컴포넌트 하나만 지켜보게 한 “슈퍼팬” Claude를 다룹니다.
감사합니다.