LLM 제품에서 CAC가 튀는 순간은 광고비가 아니라 ‘무료 체험’이 실패할 때입니다. 첫 질문에 답이 늦거나, 비용 때문에 컨텍스트를 아껴 품질이 흔들리면 유저는 바로 이탈하죠. 결국 온보딩 퍼널의 핵심 KPI는 “첫 가치 도달 시간(TTV)”이고, 그 TTV의 적이 토큰 폭발 + 지연 스파이크입니다.
dev.to의 OpenClaw QMD 사례는 이 문제를 정면으로 찌릅니다. 기본 메모리 방식(메모리 파일 전체를 매 프롬프트에 주입)은 초반엔 편하지만, 스케일 순간 비용이 기하급수로 커져요. 10토큰짜리 질문에 4,000토큰 컨텍스트를 딸려 보내는 ‘컨텍스트 세금’이 생기고, API 호출 단가가 $0.01 → $0.15로 뛸 수 있다는 경고는(기사에서 든 예시) 곧바로 체험 유저당 변동원가 상승 = CAC 상승으로 이어집니다. 게다가 “다 넣으면 되지”는 관련성 붕괴로 답 품질도 흔들리니 D1 리텐션까지 같이 깨져요.
여기서 “와 이거다!” 포인트는 로컬 퍼스트 + 하이브리드 검색이 단순히 비용 절감이 아니라 그로스 레버라는 겁니다. QMD는 로컬에서 마크다운을 인덱싱하고, BM25(키워드) + 벡터(의미) + LLM 리랭킹(정밀도) 3단으로 후보를 좁혀 상위 6개, 결과당 700자만 컨텍스트로 주입합니다(dev.to ‘OpenClaw QMD’). 10,000토큰짜리 기억이 200토큰 ‘금덩이’로 바뀌면, 같은 예산으로 더 많은 무료 체험 요청을 처리할 수 있고, 응답도 안정화됩니다. “이거 바이럴 될 것 같은데?”—팀들이 이런 데모(로컬에서 100ms 내 검색)를 보면 바로 따라 합니다. PLG에 딱이에요.
맥락을 한 단계 더 깔면, 비용의 본질은 ‘모델 가격’이 아니라 숨은 인퍼런스 오버헤드입니다. Syrius AI가 말한 GC Tax(가비지 컬렉션으로 인한 stop-the-world, 메모리 오버프로비저닝, 테일 레이턴시 스파이크)는 실시간 추론에서 UX를 망가뜨리는 주범이고, 인프라 비용을 최대 45%까지 줄였다는 주장도 나옵니다(dev.to ‘GC Tax’). 로컬 RAG가 컨텍스트를 얇게 만들면, 모델 추론 시간뿐 아니라 런타임/서빙 레이어의 스파이크도 줄여 SLA를 맞추기 위해 인스턴스를 과하게 깔아두는 비용까지 같이 줄어들 가능성이 큽니다.
시사점은 명확합니다. CAC를 낮추려면 ‘체험을 오래 버티게’ 해야 하고, 그러려면 RAG를 “정확도 프로젝트”가 아니라 “원가/지연 최적화 프로젝트”로 재정의해야 합니다. 바로 테스트할 실험 3개: 1) 온보딩 첫 세션에서 컨텍스트 토큰 상한을 강제(예: topK=6, maxChars=700)하고 D1 전환율 변화를 측정 2) 순수 벡터 vs BM25+벡터+리랭킹으로 “정답률/재질문률/평균 토큰”을 함께 비교(정확도만 보지 말고 비용까지) 3) p95/p99 레이턴시를 결제 전환 퍼널과 연결해 ‘지연 200ms 증가 시 이탈률’ 같은 성장 지표로 모델링
전망은: 하이브리드 검색은 2026년 표준이 될 거고(원문도 그 방향을 강하게 시사), 로컬 퍼스트는 선택지가 아니라 가격 실험을 가능하게 하는 원가 구조가 됩니다. 클라우드 벡터DB 호출료와 네트워크 왕복 지연을 없애고, 로컬 임베딩/리랭킹으로 “질문 1회당 비용”을 예측 가능하게 만들면, 그 다음은 빠릅니다. 더 긴 무료 체험, 더 공격적인 프리미엄 게이팅, 더 넓은 유입 채널까지—“빨리 테스트해봐야 돼!” 결국 로컬 RAG 최적화는 모델팀의 일이 아니라 그로스팀의 무기입니다.