AI 제품의 다음 병목은 ‘더 똑똑한 기능’이 아니라 추론 비용(COGS)과 속도/안정성(SLO)입니다. 그 중심에 KV 캐시가 있습니다. KV 캐시는 컨텍스트가 길어질수록 메모리를 먹고, 동시 사용자 수가 늘수록 GPU를 잠식합니다. 즉 KV 캐시를 잘 다루는 팀이 CAC를 낮추고, 전환을 올리고, 리텐션을 지킵니다.
이번 주 소스가 이 변화를 양쪽에서 보여줍니다. kmjournal은 Google이 TurboQuant를 소개하며 KV 캐시를 더 효율적으로 압축해 메모리 사용을 1/6로 줄이고(H100 기준), 속도는 최대 8배까지 끌어올렸다고 전했습니다(2분기 코드 공개 예정). 반대로 tokenpost는 Claude Code 설치판에서 캐싱 버그 2건으로 사용자가 모르게 API 비용이 10~20배까지 뛸 수 있다고 보도했습니다(GitHub 이슈로 보고, 회귀 버그 분류). 같은 “캐시”가 한쪽에서는 성장 레버, 다른 쪽에서는 폭탄이 된 겁니다.
맥락을 성장 관점으로 해석하면 간단합니다. 성능 개선 = 기능 추가였던 시기가 끝나고, 성능 개선 = 단가/지연/실패율을 깎는 운영 최적화로 이동했습니다. TurboQuant의 핵심은 ‘듀얼 퀀타이제이션’—압축으로 생기는 오차 정보까지 저장해 나중에 보정하는 방식이라, 정확도를 크게 해치지 않으면서 KV 캐시를 줄입니다. 그리고 “파인튜닝 없이 적용” 가능하다는 점이 중요합니다. 채택 장벽(엔지니어링 리드타임)을 낮추면, 최적화가 곧바로 유닛 이코노믹스로 전환됩니다.
반대로 Claude Code 사례는 운영 리스크의 정체를 드러냅니다. 캐시가 깨지면 비용은 선형이 아니라 폭주합니다. 요청마다 캐시를 재구축하거나(resume/continue에서 대화 기록을 재작성) 캐시 prefix가 어긋나면, 토큰·지연·재시도가 함께 증가합니다. 이때 제품팀은 ‘사용자가 더 많이 써서 비용이 늘었다’고 착각하기 쉽고, 마케팅팀은 CAC가 올랐는데 원인을 채널에서만 찾습니다. 실제로는 캐시 실패가 곧 ARPU/LTV를 갉아먹는 숨은 누수일 수 있습니다.
시사점은 실행 체크리스트로 정리됩니다. ① KV 캐시 효율 지표를 성장 지표에 연결하세요: 요청당 KV 캐시 메모리, 캐시 히트율, 캐시 재구축 횟수, resume 성공률, p95 지연, 토큰/요청을 대시보드에서 한 화면으로 묶습니다. ② 가격·패키징 실험 전에 ‘단가 안정성’부터: TurboQuant류 압축을 적용하면 동시처리량이 늘고 COGS/세션이 내려가므로, 무료 구간(체험) 확장이나 사용량 기반 과금의 심리적 저항을 낮출 수 있습니다. ③ 캐싱 버그를 ‘비용 SLO’로 관리: “비용 p95” 또는 “토큰 p95”를 SLO로 두고, 임계치 초과 시 자동 롤백/레이트리밋/프롬프트 축소 같은 세이프가드를 붙입니다.
실험 설계도 명확합니다. A/B로 KV 캐시 압축 on/off를 나누고, (a) COGS/세션 (b) p95 지연 (c) 첫 응답까지 시간(TTFT) (d) 세션 길이와 D7 리텐션을 함께 봅니다. 가설은 “지연과 실패율이 줄면 체감 품질이 올라가 전환·리텐션이 오른다”가 아니라, 더 날카롭게: ‘같은 품질에서 더 많은 사용량을 감당’할 때 유료 전환(특히 팀/워크스페이스)이 어떻게 바뀌는지까지 측정해야 합니다. 또한 resume/continue 같은 상태 복원 기능은 버그 하나로 비용이 터지므로, 기능 플래그로 격리해 회귀 테스트(캐시 prefix, 청구 ID, 세션 재개 경로)를 고정 시나리오로 돌려야 합니다.
전망: RAG/에이전트가 표준이 될수록 컨텍스트는 길어지고, KV 캐시는 더 커집니다. 더에이아이의 TAIF 2026 인터뷰에서도 KV 캐시를 ‘단기 메모리’로 보고, 유휴 시간엔 스토리지로 내려 저장했다가 다시 올리는 KV 캐시 스토리지(CMS) 같은 아키텍처가 부상한다고 언급됩니다. 결국 성장 경쟁은 “모델을 바꿨다”가 아니라, 캐시를 압축하고(효율), 캐시를 안전하게 유지하며(리스크), 캐시를 계층화해(인프라) 동시성을 파는 팀이 이깁니다.
정리하면, KV 캐시는 이제 엔지니어링 디테일이 아니라 그로스 레버입니다. TurboQuant 같은 압축 기술은 CAC를 낮출 ‘공급(용량) 확대’이고, Claude Code의 캐싱 버그는 전환·리텐션을 무너뜨릴 ‘비용 폭탄’입니다. 다음 분기 목표가 MAU가 아니라 “p95 비용/지연/실패율”로 설정되는 팀이, 결국 MAU도 가져갑니다.