강점은 성능이 아니다 — 7년 된 스마트폰에서 확인한 것

aiopen-weightllmon-device

1편에서 오픈웨이트와 오픈소스가 다르다는 점을 정리했습니다. 그렇다면 오픈웨이트를 쓸 진짜 이유는 무엇일까요?

가장 흔한 답은 “성능이 프론티어 모델을 거의 따라잡았다”는 것입니다. “거기다가 무료로 쓸 수 있죠!“라면서요.

하지만 저는 그 답이 틀렸다고 생각합니다. 프론티어 모델은 몇 달만 지나면 구세대가 되므로, 성능 격차를 논거로 삼으면 그 유통기한도 고작 몇 달에 불과합니다.

결론부터 요약하자면, 오픈웨이트의 진짜 강점은 성능이 아니라 통제권입니다. 모델의 성능을 빌려 쓰는 것이 아니라 모델 자체를 완전히 소유할 때 생기는 가치입니다.

“거의 따라잡았다”가 답이 될 수 없는 이유

벤치마크 점수로 오픈웨이트를 정당화하려는 시도는 프론티어와 같은 축 위에서 지는 싸움을 하는 셈입니다. 벤치마크마다 1위가 다르고, 기준점으로 잡은 프론티어는 계속 앞서갑니다.

성능으로 오픈웨이트를 증명하려 들면 안 됩니다. 축을 완전히 바꿔야 합니다.

오픈웨이트의 핵심은 로컬 추론이 가능하고, 한번 내려받으면 누구도 접근을 뺏을 수 없다는 점입니다. 성능을 빌려 쓰는 것과 모델을 직접 쥐고 있는 것은 전혀 다른 이야기입니다.

7년 된 스마트폰에 직접 올려보았습니다

제가 직접 체감해 본 가장 극단적인 환경은 2019년에 출시된 7년 된 스마트폰, 갤럭시 S10e(RAM 6GB)였습니다.

Android OS가 기본으로 점유하는 메모리를 빼면 실제로 쓸 수 있는 여유 메모리는 23GB 남짓이었습니다. 여기에 llama.cpp 엔진을 내장한 앱(PocketPal AI 등)을 설치하고 1B2B급 초소형 모델을 직접 올려보았습니다.

답변 속도는 느렸지만, 제 폰 안에서 모델이 분명히 온전히 돌아갔습니다.

화면을 보면서 ’오픈웨이트의 진짜 가치가 여기 있구나’를 피부로 느꼈습니다. 핵심은 모델의 지능이나 화려한 벤치마크 점수가 아니었습니다. 와이파이를 끄고 비행기 탑승 모드로 두어도, 계정 로그인도 토큰 비용도 없이 모델이 내 기기 안에서 온전히 돌아간다는 사실 그 자체였습니다.

프론티어 모델의 API 호출 방식으로는 구조적으로 절대 흉내 낼 수 없는 형태입니다.

오픈웨이트의 진짜 강점

오픈웨이트가 주는 통제권의 실체는 다음과 같습니다.

강점 실체
데이터 주권 폐쇄망과 오프라인에서 데이터가 기기 밖으로 1바이트도 나가지 않음
원가 구조 이미 가진 기기에서 돌아가 호출당 API 비용이 0원
버전 고정 제공업체가 서비스를 접거나 모델을 내려도 내 디스크의 모델은 영구히 유지
완전한 오프라인 외부 인터넷 네트워크 연결 자체가 필요 없음

이 표에 ’성능’은 없습니다. 바로 그게 요점입니다.


다음 편

강점이 이렇게 분명한데, 왜 실제 기업들은 오픈웨이트를 주력으로 채택하기를 망설일까요? 강점이 뚜렷한 만큼 한계도 명확하기 때문입니다. 그 이유를 3편에서 다루겠습니다.