AI 서비스가 본격적으로 스케일하는 순간, 인퍼런스 비용은 더 이상 ‘서버비’가 아니라 COGS 그 자체가 됩니다. 그리고 COGS가 오르면 마진이 줄고, 마진이 줄면 우리가 지불 가능한 CPA(=CAC 상한선)도 같이 내려갑니다. 성장팀 입장에선 “유입을 더 사오고 싶어도 못 사오는” 상태가 되는 거죠.
최근 dev.to의 글(“I’ve Been Misusing Reasoning Models…”)이 정확히 그 함정을 찌릅니다. o3나 Claude의 extended thinking 같은 reasoning 모델을 ‘기본값’으로 쓰면, 내부 추론(사고 과정) 비용과 지연 시간을 매 요청마다 강제로 결제하게 됩니다. 문제는 대부분의 프로덕션 트래픽이 수학 올림피아드가 아니라는 것. 요약, 템플릿 생성, 단순 분류, 사실 조회 같은 워크로드에선 reasoning이 성능을 올리기보다 과잉 비용·과잉 지연을 만들 수 있습니다.
맥락을 그로스 관점으로 번역하면 이렇게 정리됩니다. 첫째, reasoning 모델의 높은 p95 latency는 UX를 망치고, 이는 전환율(CVR)과 리텐션에 바로 타격을 줍니다. 둘째, 3~10배 비싼 호출 단가는 ARPU가 동일할 때 LTV/CAC 방정식을 깨버립니다. 셋째, 팀들이 벤치마크(‘어려운 문제’)에 최적화된 모델 선택을 실제 트래픽(‘쉬운 문제’)에 그대로 적용하면서 비용이 눈덩이처럼 불어납니다. 즉, “모델 성능”이 아니라 “트래픽 분포”가 단위경제를 결정합니다.
해법은 ‘최고 성능 모델 1개’가 아니라 ‘라우팅’입니다. dev.to가 제안한 프레임(복잡도·제약 상호작용·초기 오류의 연쇄 비용이 큰가?)으로 요청을 분류하고, 쉬운 요청은 표준 모델로, 정말 비싸게 틀리면 안 되는 요청만 reasoning으로 올리는 구조가 기본이 돼야 합니다. 한 줄로 말하면: Ferrari는 고속도로에만 올리고, 시내는 하이브리드로 다녀야 합니다.
여기에 두 번째 축이 붙습니다. AI타임스의 라이너 사례는 ‘정확도’가 비용 절감으로 직결되는 전형을 보여줍니다. RAG 기반 검색과 자체 랭커로 핵심 정보만 정밀 필터링하면, (1) 불필요한 컨텍스트 토큰이 줄어 직접 COGS가 내려가고, (2) 답변 정확도가 올라가 재질문/재시도 호출이 줄며, (3) 잘못된 정보로 발생하는 환불·CS 티켓·계약 리스크 같은 ‘숨은 COGS’가 같이 내려갑니다. 특히 B2B 의사결정 영역에선 “한 번의 오답”이 신뢰 비용으로 폭발하기 때문에, 정확도는 곧 리텐션(갱신)과 확장(업셀) 변수입니다.
인프라 레벨에서도 비용/지연 최적화가 가속됩니다. AI포스트가 전한 AWS–Cerebras 협업은 추론을 Prefill(질문 처리)과 Decode(토큰 생성)로 ‘분해’해 각 단계에 맞는 칩을 붙이는 접근입니다. 즉, 앞으로는 모델만 바꾸는 게 아니라 추론 파이프라인을 쪼개서 병목을 따로 최적화하는 게 표준이 됩니다. 이 변화는 “더 빠른 응답”을 통해 CVR을 밀어 올리고, 같은 인프라에서 더 많은 토큰을 처리해 COGS를 낮추는 쪽으로 연결됩니다.
시사점은 명확합니다. ① 모델 라우팅은 곧 가격 정책의 기반입니다. 요청당 비용 분포를 잡아야 프리미엄 플랜/사용량 과금/프리미엄 기능(고난도 reasoning)을 설계할 수 있습니다. ② RAG 품질은 단순 정확도가 아니라 비용 통제 장치입니다. 재시도율, 답변 후 follow-up 비율, CS 인입률을 함께 보면서 “정확도가 올라가면 총 호출 수가 줄어드는가”를 계량해야 합니다. ③ 지연 시간은 그 자체로 이탈 포인트입니다. p95가 늘면 대화 턴 수가 줄고, 턴 수가 줄면 활성 사용자당 가치가 줄어 LTV가 내려갑니다.
전망: 앞으로 AI COGS 경쟁은 ‘더 큰 모델’이 아니라 ‘더 정교한 경로 설계’에서 갈립니다. 제품팀이 해야 할 일은 단순합니다. (1) 요청을 난이도/위험도 기준으로 태깅하고, (2) 표준→reasoning 승격 조건을 규칙+간단한 분류기로 만들고, (3) RAG로 입력 토큰과 재시도를 줄이며, (4) Prefill/Decode, 검색/생성 등 단계별 비용을 쪼개 관측하는 것. 이 4개가 되면 CAC 상한선이 올라가고, 같은 예산으로 더 공격적인 성장 실험을 돌릴 수 있습니다. 기술은 결국, 성장을 살리는 방향으로만 의미가 있습니다.