벤치마크 표를 보면 Claude Fable이 앞서고, 독립 평가 기관 Artificial Analysis의 Intelligence Index에서는 Grok 4.5가 4위에 랭크된다. GPT-5.6 Sol은 코딩 에이전트 인덱스에서 80점으로 신기록을 세웠다. 숫자만 보면 서열이 선명해 보인다. 그런데 ChatPRD 창업자이자 How I AI 팟캐스트 호스트인 Claire Vo가 직접 돌린 헤드투헤드에서 결과는 뒤집혔다. '가장 똑똑한 모델'인 Claude Fable이 졌고, GPT-5.6 Soul이 이겼다. 이유가 흥미롭다.
Vo는 '바이브 체킹'에 지쳐 직접 평가 구조를 설계했다. PRD 작성, 앱 프로토타이핑, 멀티스텝 디버깅, 에이전트 대화—자신이 매일 하는 실무를 기준으로 삼고, LLM-as-judge(GPT-5.5를 가장 혹독한 심판으로 선택)와 직접 클릭해가며 작성한 손채점 '취향 테스트'를 70:30으로 가중했다. "이건 내 쇼다. 나는 내 취향을 더 믿는다." 이 한 문장이 평가 설계의 핵심이다. 벤치마크는 점점 엄밀해지고 있지만, 최종 판단의 무게는 여전히 사람에게 돌아온다.
결과를 가른 건 IQ가 아니라 '같이 일할 수 있는가'였다. Vo는 Fable을 이렇게 표현했다. "한 번도 사람을 만나본 적 없는 엔지니어." 모든 리스크를 수치화하고 모든 엣지케이스를 강화하는데, 한 번은 툴-콜링 루프를 너무 타이트하게 최적화해서 특정 모델 하나에서만 실행되는 코드를 만들어냈다. 스스로 코너에 갇혀버린 것이다. 반면 Soul은 같은 막힌 문제를 Codex로 옮기고 "그냥 네가 옳다고 생각하는 대로 해"라고 하자 한 번에 해결했다. 완벽하진 않았지만, 배포됐다.
이 지점이 프론트엔드 개발자에게 가장 직접적인 시사점이다. 실무에서 AI 도구를 쓰는 맥락은 벤치마크 문항보다 훨씬 지저분하다. 컴포넌트 설계 중간에 요구사항이 바뀌고, 디자이너가 피그마를 업데이트했고, 백엔드 응답 스펙이 살짝 틀어졌다. 이 상황에서 필요한 건 '이론적으로 가장 똑똑한 답'이 아니라 '지금 이 맥락에서 같이 움직일 수 있는 파트너'다. Vo의 표현을 빌리면, 협업 가능성(collaborability)은 이제 선택지가 아니라 모델 핵심 역량이다.
디자인 평가에서도 흥미로운 신호가 나왔다. Vo는 50개 결과물에 직접 반응을 달았고 그 중 14개에 '쓰레기'를 붙였다. 그가 낮은 점수를 준 건 못생긴 디자인이 아니었다. 그라디언트, 이모지 플레이스홀더, 다크모드 모노스페이스 대시보드—흔히 보이는 '슬롭(slop)'이었다. AI 생성 비용이 거의 0에 수렴하는 시대에 '관점이 없는 결과물'이 오히려 결함이 된다는 논리다. Soul이 포레스트 그린을 즐겨 쓴다는 사실도 언급됐다. 모델마다 미적 지문이 생기고 있다.
작업별 모델 라우팅이라는 관점에서 보면 이번 발표들은 퍼즐 조각처럼 맞아 떨어진다. GPT-5.6은 Soul·Terra·Luna 세 개 라인업으로, 각각 프론티어·균형·고속저가에 대응한다. Vo의 현장 선택 기준은 이렇다. 프로토타입엔 Sol—가장 기능적이고 관점이 있다. 깔끔한 PRD엔 Terra—현실적이고 간결하다. 에이전트 보이스가 필요할 땐 Sonnet—사람처럼 말한다. 복잡한 멀티스텝 디버깅엔 역시 Sonnet이 LLM 심판 기준에서 우세했다.
Grok 4.5는 다른 포지셔닝으로 끼어든다. dev.to 분석 기사에 따르면 Artificial Analysis 기준 Intelligence Index 4위이지만, SWE-Bench Pro에서 Claude Opus 4.8 대비 출력 토큰을 4.2배 덜 쓰고 같은 작업을 완료했다(xAI 발표 수치). 가격은 출력 토큰 기준 Claude Fable의 8분의 1 수준이다. 순수 최고 품질이 필요한 작업엔 순위상 앞선 모델이 맞지만, 고속·고볼륨 파이프라인에서 토큰 효율이 우선이라면 Grok 4.5는 진지한 라우팅 후보다. 단, 효율 수치가 xAI 자체 벤치마크에서 나왔다는 점, Cursor 자체 코드베이스가 훈련 데이터에 포함됐다는 이례적 고백도 판단에 넣어야 한다.
결국 이번 세 모델의 경쟁이 보여주는 것은 하나다. 2025-26년의 AI 모델 경쟁은 축이 바뀌었다. '얼마나 똑똑한가'의 싸움은 이미 거의 끝났고, 경쟁은 협업 가능성·실용적 효과성·취향 정렬·슬롭의 부재라는 훨씬 측정하기 어려운 영역으로 이동했다. 그리고 Vo의 평가에서 최종 심판 가중치를 70% 가져간 건 GPT-5.5도 어떤 LLM도 아닌, 사람 자신이었다. 모델이 강해질수록 인간의 판단이 앞으로 나온다는 역설이 여기 있다.
그래서 '어떤 모델을 써야 하나'라는 질문보다 더 유용한 질문은 이것이다. 내 작업 맥락에서 어떤 모델과 실제로 같이 움직일 수 있는가. 벤치마크 1위 모델이 내 코드에서도 1위가 아닐 수 있는 이유는, 벤치마크가 틀려서가 아니라 벤치마크가 측정하지 않은 것—협업 비용, 출력 가독성, 막혔을 때 방향 전환 능력—이 실무의 실제 병목이기 때문이다. 그 병목을 먼저 특정해야 모델 선택이 의미 있어진다.