Claude Opus 4.7이 더 똑똑해졌다는 얘기만 믿고 기본 모델로 걸어두면, 어느 날 조용히 마진이 무너집니다. dev.to의 실측에 따르면 같은 프롬프트를 넣었는데 4.7이 4.6 대비 33~50% 더 많은 토큰을 쓰는 구간이 있었고(특히 영어 프로즈에서 최대 47%), 결과적으로 “단가 인상 없는 실질 가격 인상”이 발생했습니다. 토큰당 가격표는 그대로인데, 동일 업무를 처리하는 데 필요한 토큰이 늘어난 겁니다.
이걸 단순 비용 이슈로 축소하면 위험합니다. 에이전트/LLM 제품에서 토큰은 곧 COGS이고, COGS는 곧 ‘가격을 어디까지 내려도 되는지’, ‘프리미엄을 어떤 기능에 붙일지’, ‘무료→유료 전환을 어디서 걸지’의 실험 폭을 결정합니다. 즉 토큰 인플레이션은 재무팀의 청구서가 아니라 그로스팀의 실험 자유도를 때리는 사건입니다.
맥락을 보면 더 선명합니다. velog 커뮤니티 정리처럼 이번 논쟁은 “4.7이 좋냐/나쁘냐”가 아니라, 상위 모델이 에이전트 호출을 타고 들어가면서 총비용이 기하급수적으로 커지는 구조적 문제로 번졌습니다. 멀티스텝 워크플로우는 컨텍스트가 반복 첨부되기 쉬워 ‘토크나이저 변화’ 같은 미세한 요인이 곧바로 월간 손익에 반영됩니다. Reddit에서 “한도 소진이 빨라졌다”는 불만이 나오는 이유도 여기 있습니다.
그래서 해법은 프롬프트 최적화만이 아닙니다. 핵심은 모델 라우팅입니다. dev.to 글의 접근이 실전적이었던 이유는 단순합니다. 4.7을 버리지 않고, “추론 프리미엄이 진짜 ROI를 만드는 작업”에만 4.7을 태우고 나머지는 4.6으로 내려보내는 선택적 운영으로 1주일 만에 비용을 28% 낮췄다고 했죠. 그로스 관점으로 번역하면: 작업을 난이도/리스크/재작업 비용 기준으로 등급화하고, 등급별 COGS 상한을 강제하는 운영입니다.
여기서 한 단계 더 가면, 멀티 프로바이더가 성장 레버가 됩니다. dev.to의 다른 글(Jibun Corp)처럼 OpenAI-호환 레이어로 35개 프로바이더를 붙이면, 특정 모델/벤더의 토큰 인플레이션이나 가격 변경이 곧바로 ‘원가 폭탄’으로 이어지지 않습니다. 더 중요한 건 협상력과 실험 속도입니다. 예를 들어 개발/테스트는 무료 티어(Qwen 계열 등)로 돌리고, 프로덕션의 고난도 구간만 프리미엄 모델로 라우팅하면, 동일한 ARPU에서 마진이 개선되고(=LTV↑), 가격/패키징 실험을 더 공격적으로 할 수 있습니다.
시사점은 세 가지입니다. (1) COGS 가드레일이 없으면 전환 실험이 멈춘다: 무료 플랜의 응답 길이 제한, 유료 플랜의 ‘고급 추론’ 번들링 같은 설계가 원가 변동에 즉시 흔들립니다. (2) 라우팅은 품질 전략이 아니라 퍼널 전략: 온보딩 구간(첫 성공 경험)은 고성능 모델로 성공률을 올리고, 반복 사용 구간은 저비용 모델로 단가를 낮추는 식으로 AARRR 각 단계의 최적 모델이 달라집니다. (3) 벤더 락인은 CAC를 올린다: 원가가 불안정하면 가격을 보수적으로 잡게 되고, 그 결과 프로모션/레퍼럴/번들링 같은 획득 실험이 위축돼 CAC가 상승합니다.
전망은 명확합니다. 앞으로 모델은 계속 좋아지겠지만, 토크나이저/컨텍스트 정책/출력 성향 변화로 ‘조용한 비용 변동’도 계속 나옵니다. 승자는 “최신 모델을 붙인 팀”이 아니라 작업 라벨링(난이도 추정) → 라우팅 → 실비 트래킹을 제품 운영 루프에 박아 넣은 팀입니다. 지금 당장 할 일은 하나입니다. 모델을 ‘기능’이 아니라 ‘단위경제를 가진 부품’으로 보고, 라우팅과 멀티 프로바이더로 COGS 변동성을 낮추세요. 그래야 가격·전환·리텐션 실험이 다시 빨라집니다.