AI 에이전트 제품의 CAC는 광고비나 세일즈 인력만으로 결정되지 않습니다. 첫 메시지 한 번 처리하기 전에 시스템 프롬프트·툴 정의·RAG 컨텍스트가 쌓이면서 COGS(토큰/추론비)와 레이턴시가 올라가고, 그 결과 전환율이 떨어지고(체감가치↓) 가격 협상이 길어지며(ROI 증명↑) CAC가 구조적으로 비싸집니다.
dev.to의 「Your AI agent wastes 13,000 tokens before saying hello」는 이 문제를 적나라하게 보여줍니다. MCP 툴을 50개 붙인 에이전트는 유저 입력을 받기도 전에 툴 카탈로그만으로 약 9,750토큰 오버헤드를 만들 수 있습니다. 더 치명적인 건 ‘비용’만이 아니라 ‘컨텍스트 창 점유’입니다. 캐싱이 일부 금액을 깎아도, 모델은 그 토큰에 주의를 기울여야 하니 지연과 추론 품질 변동이 남습니다.
여기서 중요한 프레이밍 전환: 이건 엔지니어링 최적화가 아니라 퍼널 최적화 과제입니다. “툴 정의가 길다”는 사실은 곧 (1) 첫 응답까지 시간(TTFB/TTR) 증가 → (2) 활성화(Activation) 하락 → (3) 데모/PoC 성공률 하락 → (4) 유료 전환까지 세일즈 사이클 증가로 이어집니다. 즉, 토큰은 비용 단위이면서 동시에 전환을 깎는 마찰(friction)입니다.
첫 번째 레버는 ‘토큰 낭비의 구조’ 제거입니다. 위 글이 제안한 TTC(TERSE Tool Catalog)는 JSON 스키마의 문서성 오버헤드를 줄이고, 대신 LLM 의사결정에 필요한 ERR/WHEN/TAGS를 명시해 신호 대비 토큰을 높입니다. 10개 툴 기준 약 66% 절감, 50개 툴이면 수천 토큰을 선형으로 아낍니다(출처: dev.to). 성장 관점에서 이건 “같은 기능을 더 싸고 빠르게 제공”하는 게 아니라, “더 짧은 컨텍스트로 같은 전환을 만든다”는 재설계입니다.
두 번째 레버는 ‘반복 지출’ 차단입니다. dev.to의 「Prompt Caching With the Claude API」는 시스템 프롬프트/툴 정의처럼 반복되는 프리픽스를 서버 측에 캐시해 입력 토큰 비용을 최대 90%까지 낮출 수 있다고 정리합니다. 단, 캐시는 돈을 깎아도 컨텍스트 점유는 남고(=레이턴시/주의비용), 프리픽스가 1토큰이라도 달라지면 미스가 나므로 “프롬프트를 제품 자산처럼 고정(버전/정렬/화이트스페이스)”해야 합니다.
이 두 레버를 하나의 성장 실험으로 묶으면 명확해집니다. 가설: (TTC로 컨텍스트 점유↓ + 프롬프트 캐싱으로 입력비↓) → 레이턴시↓/마진↑ → 무료 체험 제공량 확대 또는 가격 인하 여력↑ → 전환율↑ → CAC↓. 실험 설계는 단순합니다. A/B로 (A) 기존 MCP JSON + 노캐시 vs (B) TTC 요약 카탈로그 + 캐싱 적용을 두고, ①첫 응답 p95 지연, ②세션당 입력 토큰, ③체험→유료 전환율, ④세일즈 사이클(엔터프라이즈는 PoC 기간)까지 같이 봐야 합니다.
이 타이밍이 중요한 이유는 산업 맥락 때문입니다. 네이트/구글뉴스는 AI 산업이 ‘성장 기대’에서 ‘수익성 검증’으로 넘어가며 투자·현금흐름 압박이 커지고 있다고 전합니다. 인프라 CAPEX가 커질수록 시장은 “매출 성장”보다 “현금으로 남는가”를 묻습니다. 이 국면에서 토큰 경제학은 단순 절감이 아니라, CAC/LTV를 방어하는 생존 전략입니다.
전망: 앞으로 에이전트 경쟁은 ‘더 똑똑한 모델’ 이전에 ‘더 얇은 컨텍스트와 더 예측 가능한 단가’에서 갈릴 가능성이 큽니다. 툴 카탈로그를 TTC처럼 의미 중심으로 재구성하고, 캐싱을 기본값으로 내장하며, 툴 선택(리트리벌)을 안정적으로 만들어 캐시 미스를 줄이는 팀이 같은 예산으로 더 많은 실험(채널/온보딩/가격)을 돌릴 수 있습니다. 성능은 복제되지만, 단가 구조와 레이턴시로 만들어진 CAC 우위는 쉽게 복제되지 않습니다.