AI 제품/에이전트 비즈니스에서 ‘성능’은 데모를 이기게 하지만, ‘단위경제’는 시장을 이기게 합니다. CAC는 광고비만의 문제가 아닙니다. 추론비(토큰/툴콜/지연)와 실패율(재시도·중복호출·레이트리밋)이 합쳐져 온보딩 마찰을 만들고, 그 마찰이 전환율을 깎아 CAC를 끌어올립니다.
dev.to의 컨텍스트 엔지니어링 사례(Entroly)는 이걸 정면으로 건드립니다. RAG처럼 “유사한 파일 몇 개”를 던져 넣는 방식 대신, 토큰 예산 내에서 정보량이 최대가 되는 조각들의 조합을 최적화해 요청당 토큰을 78% 절감했다고 밝힙니다. 핵심은 ‘더 많이 넣기’가 아니라 ‘정보 밀도(엔트로피)·최근성·사용빈도·의존성 그래프’를 함께 써서 같은 답을 더 싸게 만드는 겁니다.
이 비용 절감이 왜 CAC로 연결되냐면, (1) 같은 예산으로 더 많은 무료체험/데모 트래픽을 소화하고, (2) 가격을 공격적으로 가져가거나(프로모션/프리미엄 체험) (3) 응답 지연을 줄여 활성화를 올릴 수 있기 때문입니다. 특히 에이전트는 툴콜이 늘수록 토큰이 기하급수로 새는데, dev.to의 또 다른 글(Code Mode)은 여러 툴 호출을 한 턴에 배치해 30~80% 토큰을 줄였다고 설명합니다. 이건 곧 “같은 유저가 더 많이 쓰도록” 만들 때 COGS가 폭증하는 문제를 완화해 LTV를 지키는 레버입니다.
하지만 비용만 줄이면 끝이 아닙니다. 퍼널에서 더 잔인한 건 ‘실패 경험’입니다. 새벽 3시에 에이전트가 결제 API를 500으로 받아 재시도하다 중복 청구를 만드는 순간, 환불·CS·신뢰 붕괴로 리텐션이 무너집니다. dev.to의 API 신뢰성 체크리스트(AN Score 프레임)는 이를 “에이전트 친화성” 관점에서 5문항으로 압축합니다: 구조화된 에러 신호, 멱등성(idempotency), 429의 재시도 가이드(Retry-After), 자격증명 자동화, 결정적(Deterministic) 동작. 이 5개는 전환을 갉아먹는 운영 리스크의 80%를 차지한다는 주장입니다.
시사점은 명확합니다. AI 제품의 그로스는 이제 ‘카피/랜딩 A/B’만으로 안 됩니다. COGS와 신뢰성을 제품 KPI로 고정해야 합니다. 실행 프레임을 제안하면: - Activation 단계: 첫 1~3회 핵심 작업을 ‘저비용 컨텍스트’로 보장(요약 L1/L2/L3, 불필요한 보일러플레이트 제거) → 체감 속도 개선으로 전환율 상승 - Retention 단계: 실패/재시도/중복호출을 이벤트로 트래킹(duplicate_created, retry_exhausted, rate_limited) → 코호트별 장애 경험이 D7/D30에 미치는 영향 계량 - Monetization 단계: 토큰/툴콜 단가를 가격 실험 변수로 편입(기능이 아니라 “작업당 비용”을 낮춰 마진을 지키는 플랜 설계)
전망: 에이전트 시장이 커질수록 ‘모델 선택’은 평준화되고, 컨텍스트 엔진 + 툴 오케스트레이션 + API 신뢰성이 진짜 경쟁우위가 됩니다. 앞으로 CAC를 이기는 팀은 “최고의 모델”을 찾는 팀이 아니라, (1) 토큰을 정보량으로 바꾸는 최적화, (2) 툴콜을 배치/병렬화하는 실행 레이어, (3) AN Score 같은 체크리스트로 외부 API를 ‘운영 가능’하게 만드는 팀입니다. 성능은 이야기거리가 되지만, 성장 지표는 결국 싸고(78% 절감), 안 깨지고(중복·레이트리밋 대응), 빠르게(턴 수 감소) 움직이는 쪽으로 수렴합니다.