AI 제품의 성장 실험은 결국 ‘CAC 상한선’ 싸움입니다. 광고비를 더 태울 수 있는가, 더 많은 채널을 테스트할 수 있는가를 가르는 건 마케팅 감각이 아니라 단위경제—특히 추론비용(COGS)입니다. 최근 aitimes가 전한 스탠포드의 온디바이스 에이전트 프레임워크 OpenJarvis는 이 지점을 정면으로 찌릅니다. 클라우드 호출을 기본값에서 예외로 바꾸면, 무료/저가 플랜이 가능해지고 그 순간 CAC의 천장이 올라갑니다.
맥락을 보면 흐름은 명확합니다. OpenJarvis는 로컬 LLM·실행엔진(ollama/vLLM/llama.cpp)·에이전트·툴/메모리·학습 계층으로 “기기 안에서 끝나는” 개인용 에이전트를 지향합니다. 스탠포드 연구진은 로컬 모델/가속기가 상당수 케이스에서 체감 속도를 높였고(기사 내 ‘Intelligence per Watt’ 언급), 효율성 자체가 빠르게 개선되고 있다고 말합니다. 여기서 중요한 건 ‘더 똑똑한 모델’이 아니라 더 싼 경로가 표준이 된다는 점입니다. 토큰당 비용이 아니라 “쿼리당 비용”이 내려가면, 가격(또는 무료 구간)을 재설계할 수 있습니다.
이때 성장 관점의 핵심 레버는 두 가지입니다. 첫째, COGS 하락 → 가격장벽 하락 → Top of Funnel 확대. 무료/저가 플랜이 가능해지면 유입 채널 믹스가 바뀝니다(검색·커뮤니티·레퍼럴·마켓플레이스뿐 아니라 유료도 더 공격적으로). 둘째, 그 유입을 실제 매출/리텐션으로 바꾸는 건 퍼널 마찰인데, 여기서 미디어데일이 보도한 킵그로우의 ‘1초 회원가입’ 류 기능이 즉시 효력을 냅니다. 가입 화면이 병목이라는 건 그들이 1만3000개 자사몰 데이터를 통해 확인했다고 하죠. 비용을 낮춰 데려온 트래픽이 ‘가입/인증/비번’에서 새면 CAC는 그대로 증발합니다.
시사점은 “온디바이스 vs 퍼널 UX”의 선택 문제가 아니라 결합 문제입니다. 온디바이스로 COGS를 내리면 무료 구간을 키울 수 있고, ‘1초 회원가입’처럼 마찰을 줄이면 CVR이 올라가며, 두 효과가 곱해져 LTV/CAC가 동시에 개선됩니다. 성장 루프는 여기서 시작합니다: 더 낮은 COGS로 더 큰 유입 실험 → 더 높은 CVR로 더 많은 활성 사용자 → 로컬 메모리/개인화로 리텐션 상승 → 다시 LTV 증가로 CAC 상한선 상승. 특히 온디바이스는 개인정보 전송 부담을 낮춰 B2B·규제 산업에서도 “도입 검토” 단계의 마찰을 줄일 수 있습니다.
전망은 한 줄로 정리됩니다. ‘클라우드가 기본’인 AI는 점점 마진을 갉아먹고, ‘로컬이 기본’인 AI는 성장 예산을 만들어냅니다. 앞으로는 (1) 로컬 우선 + 필요 시 클라우드로 라우팅, (2) 가입/결제/상담 등 핵심 퍼널 구간의 마찰 제거, (3) 효율성 텔레메트리(지연·에너지·쿼리당 비용) 기반의 실험 체계가 한 세트로 묶일 겁니다. 비용을 낮추는 기술이 곧바로 유저 획득 속도로 환산되는 팀이, 결국 시장을 먼저 잠식합니다.