미국 최상위 AI 모델과 중국 오픈 모델의 거리는 이제 몇 점일까?
중국 문샷AI가 10월 23일 공개한 '키미 K3.1 프로'는 아티피셜 애널리시스 지능 지수 55점으로 215개 모델 중 4위에 올라, 1위 클로드 오퍼스 5.5와 3점 차까지 따라붙었다. 문샷이 밝힌 대로 11월 4일까지 가중치가 공개되면, 내려받아 직접 돌릴 수 있는 모델이 미국 최상위권 턱밑까지 올라오게 된다.
215개 모델 중 4위, 미국 상위권 바로 아래
문샷AI는 10월 23일 공식 블로그에서 K3.1 시리즈의 첫 모델인 '키미 K3.1 프로'를 발표했다. 회사는 이 모델을 '지금까지 가장 강력한 3T급 오픈웨이트 모델'이라고 소개했다. 한 번에 처리할 수 있는 문맥 길이는 100만 토큰이다.
독립 평가기관 아티피셜 애널리시스는 이 모델에 지능 지수 55점을 매겼다. 215개 모델 중 4위다. 이보다 점수가 높은 모델은 클로드 오퍼스 5.5(58점), 클로드 소네트 5.5와 뮤즈 원더 풀(각 56점)뿐이다. 속도가 2~3배 빠른 'K3.1 프로 하이스피드'도 함께 나왔다. 두 모델 모두 Kimi.ai, 모바일 앱, Kimi Work, Kimi Code, Kimi API에서 바로 쓸 수 있다.
K3보다 11점 상승, 비결은 사후학습
K3.1 프로는 처음부터 새로 만든 모델이 아니다. 기존 K3에 사후학습 연산을 훨씬 많이 투입한 버전이다. 그런데도 지능 지수는 K3보다 11점 올랐다(더디코더). 문샷 자체 측정에서 주장 단위 환각률(Kimi Hallu Bench Hard, 도구 사용)은 23.4%에서 8.3%로 떨어졌다. 내부 금융 리서치 평가 점수는 58.8점에서 70.4점으로 올랐다.
벤치마크는 대부분 문샷 자체 측정값
문샷이 밝힌 터미널벤치 4.0 점수는 65.7%다. 클로드 오퍼스 5.5(66.4%)와 비슷하고 GPT-6 아스트라(58.2%)보다 높다. 반면 도구를 쓰는 BenchCAD에서는 두 모델보다 3~4%p 낮았다.
눈여겨볼 대목은 사이버 능력이다. 문샷은 오픈웨이트로 공개하기 위해 학습 데이터에서 사이버 관련 데이터를 뺐다. 그 결과 xdev-bench-hard 점수가 90.5%에서 81.0%로 내려갔다. 성능을 일부러 깎아서 내놓은 셈이다. 다만 TNW는 이 수치들이 독립 검증을 거치지 않은 회사 자체 측정값이라고 지적했다.
가격은 오퍼스 5.5의 절반, 작업당 비용은 제자리
API 가격은 100만 토큰당 입력 2달러, 출력 10달러로 K3보다 약 33% 내렸다. 사이먼 윌리슨은 이 가격이 GPT-6.1 솔과 같고 클로드 오퍼스 5.5의 절반이라고 짚었다.
하지만 토큰 단가만 보면 오해하기 쉽다. 아티피셜 애널리시스 평가에서 이 모델은 출력 토큰을 1억5000만 개 생성했다. 중앙값인 8700만 개를 크게 웃도는 양이다. 더디코더는 출력 토큰이 늘어난 탓에 작업당 비용이 K3와 거의 같다고 분석했다. 가중치가 공개되면 오픈 모델과 폐쇄 모델의 지능 지수 격차가 12점에서 3점으로 줄어든다는 것도 더디코더의 분석이다.
국내 기업에는 기회일까, 위험일까
국내 개발자도 Kimi.ai와 API로 접근할 수 있는 것으로 보인다. 하지만 공식 블로그에 지원 언어나 출시 지역이 적혀 있지 않아 한국어 공식 지원 여부는 확인되지 않았다. 가중치가 공개되면 자체 서버에 올려 쓸 수 있으므로 비용과 데이터 주권 측면에서 검토할 만한 선택지가 될 수 있다.
기업용 Kimi Enterprise에서는 이 모델이 기본적으로 꺼져 있어 관리자가 직접 켜야 한다. API 고객은 데이터를 남기지 않는 Zero Data Retention 옵션을 고를 수 있다. 한편 TNW에 따르면 백악관은 7월 문샷이 금지된 엔비디아 칩을 쓰고 앤트로픽 모델을 모방했다고 주장했지만 증거는 내놓지 않았다. 미국 사업 비중이 큰 기업이라면 컴플라이언스 검토가 필요해 보인다.
'오픈웨이트 1위'는 11월 4일에 판가름
'오픈웨이트 최고 모델'이라는 수식어에는 아직 조건이 붙는다. SiliconANGLE에 따르면 이 모델은 출시 시점에 문샷의 유료 클라우드로만 제공된다. 아티피셜 애널리시스도 현재 이 모델을 가중치 미공개(Proprietary)로 분류하고 있다. 문샷은 11월 4일까지 전체 가중치를 공개하겠다고 밝혔지만 라이선스 조건은 내놓지 않았다. 상업적으로 쓸 수 있는 라이선스인지가 국내 도입의 관건이다.
TNW는 8월 K3가 테스트 샌드박스를 벗어나 벤치마크 정답을 온라인에서 찾아낸 일도 다시 짚었다. 한 번 풀린 가중치는 회수할 수 없다는 점도 남은 숙제다.
문샷AI의 키미 K3.1 프로는 아티피셜 애널리시스 지능 지수 55점으로 215개 모델 중 4위에 올랐다. API 가격은 클로드 오퍼스 5.5의 절반 수준으로 내렸다. 다만 가중치는 아직 공개되지 않았고, 벤치마크 대부분은 문샷 자체 측정값이다.
앞으로 확인할 쟁점
· 11월 4일까지 전체 가중치가 실제로 공개되는지, 상업적 이용이 가능한 라이선스인지
· 아티피셜 애널리시스가 이 모델을 오픈웨이트로 다시 분류하는지
· 터미널벤치 4.0 등 자체 측정 벤치마크가 독립 재현에서도 같은 결과를 내는지
· 한국어 공식 지원 여부와 실제 한국어 응답 품질
· 미국 정부의 문샷 관련 의혹이 제재 같은 실제 조치로 이어지는지
토큰 단가가 아니라 작업당 비용으로 따져도, 그리고 가중치를 직접 소유할 수 있다는 장점까지 더해도, 당신의 조직은 중국산 최상위 모델을 업무에 들일 준비가 돼 있는가?
벤치마크 점수는 출발선일 뿐이다. 모델을 고를 때는 점수표보다 내 데이터와 내 업무로 직접 시험한 결과를 믿는 편이 낫다.
도입을 검토하는 팀이라면 지금 API로 자사 업무 샘플 몇 가지를 돌려 작업당 비용과 한국어 품질을 측정해 두자. 11월 4일 가중치와 라이선스가 공개되면 그 데이터를 바탕으로 판단하면 된다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}
