LLM 제품의 초기 성장 병목은 대개 ‘모델 성능’이 아니라 토큰 비용입니다. 유저가 유료 전환하기 전까지 발생하는 추론비(토큰 COGS)가 높으면, CAC를 회수하기도 전에 현금이 먼저 마릅니다. 그래서 지금 필요한 질문은 “어떤 모델이 더 똑똑한가”가 아니라 “유료 전환 전 구간의 토큰 COGS를 어디까지 0에 가깝게 만들 수 있나”입니다.
최근 dev.to의 실측 리스트(2026년 4월 기준)에서는 신용카드 없이도 당장 쓸 수 있는 무료 LLM API들이 여전히 ‘현역’임을 확인합니다. 예를 들어 Google AI Studio(Gemini)는 일 1,500 requests 수준, Groq는 초고속 추론을 무기로 더 높은 요청량을 허용하고, OpenRouter는 다양한 무료 모델을 비교·대체재로 엮기 좋습니다. 핵심은 “무료 티어 단독으로 프로덕션 스케일을 감당하긴 어렵지만, 스태킹하면 한동안 버틴다”는 전략적 결론입니다(출처: dev.to ‘12 Free LLM APIs…’).
여기에 더 공격적인 옵션이 있습니다. 브라우저 로컬 추론입니다. WebGPU/Wasm, Transformers.js, WebLLM 같은 스택을 쓰면 추론이 서버가 아니라 유저 디바이스에서 돌아가 ‘추론비=0’에 수렴합니다. 대신 첫 로딩 때 모델 다운로드(수십~수백 MB, 경우에 따라 GB)가 생기고, 디바이스 성능 편차·VRAM 제약을 감수해야 합니다(출처: dev.to ‘Zero-Cost AI: Running LLMs Locally in the Browser’). 즉, 비용 구조는 서버에서 프론트로 이동하고, UX 설계가 그로스 레버가 됩니다.
맥락을 그로스 관점으로 해석하면 간단합니다. 무료/로컬 LLM은 ‘돈을 아끼는 기술’이 아니라 현금 소진 속도를 늦춰 실험 횟수를 늘리는 기술입니다. 토큰 COGS가 낮아지면 (1) 유료 전환까지 허용 가능한 CAC가 올라가고, (2) 회수 기간(Payback period)이 늘어나며, (3) 온보딩/퍼널 A/B 테스트를 더 많이 돌릴 수 있습니다. 특히 초기엔 D1 리텐션과 활성화 이벤트(Activation) 정의가 흔들리는데, 이 구간에서 비용 압박이 줄어들면 과감한 실험 설계가 가능해집니다.
시사점은 세 가지입니다. 첫째, 멀티 API 스태킹은 곧 라우팅 기반 퍼널 최적화입니다. “간단한 요청은 무료 Gemini, 지연 민감은 Groq, 실패 시 OpenRouter 폴백”처럼 요청을 난이도·지연·가치에 따라 분기하면, 같은 유저 경험을 더 낮은 COGS로 제공할 수 있습니다. 이때 라우팅 룰은 기술 설정이 아니라 실험 변수입니다(예: 유료 전환 직전 구간만 고성능 모델 할당).
둘째, 로컬 추론은 신규 채널을 엽니다. 오프라인 환경, 프라이버시 민감 세그먼트(의료/법무/사내 데이터), 네트워크 제약이 큰 시장에서 “데이터가 기기를 떠나지 않는다”는 메시지는 곧 획득 포지셔닝이 됩니다. 즉, 기능이 아니라 배포 형태가 타깃 세그먼트를 바꿉니다. 다만 첫 다운로드 지연은 전환 저항이므로, ‘백그라운드 프리로딩 + 재방문 캐시’를 전제로 반복 사용 시나리오(작성 보조, 자동 태깅, 인앱 요약 등)에 붙여야 합니다.
셋째, 가격/패키징 실험이 쉬워집니다. 서버 추론비가 줄면 프리미엄을 “토큰”이 아니라 “워크플로우 가치”로 과금할 여지가 커집니다. 예를 들어 무료 플랜은 로컬/무료 API 기반(속도·컨텍스트 제한), 유료 플랜은 (1) 더 긴 컨텍스트, (2) 팀 기능, (3) 고급 모델 라우팅, (4) 서버측 메모리/로그/감사 같은 신뢰 레이어로 차별화할 수 있습니다. 비용이 내려가면 가격 실험의 리스크도 내려갑니다.
전망: ‘제로코스트 LLM 그로스’는 곧 하이브리드 추론(로컬+무료 API+유료 API)의 운영 역량 경쟁으로 갑니다. 이미 로컬 Ollama를 프록시로 붙여 도구/프로토콜을 라우팅하는 흐름(CliGate 사례, dev.to)이 나오고 있고, 이 패턴은 제품에도 그대로 이식됩니다. 다음 단계의 승부처는 모델 자체가 아니라 (1) 라우팅 정책, (2) 디바이스 적합성 감지(Opt-in), (3) 실패/품질 모니터링, (4) 이벤트 트래킹과 코호트 분석으로 이어지는 실험 루프입니다.
지금 당장 실행 순서는 명확합니다. 무료 티어 스태킹으로 토큰 COGS를 먼저 낮추고, 반복 사용 기능 1~2개를 브라우저 로컬로 내려 “추론비 0 구간”을 만든 뒤, 그 절감분을 온보딩/CTA/리텐션 실험에 재투자하세요. 비용이 줄어든 만큼, 그로스는 ‘아이디어’가 아니라 ‘실험 횟수’에서 갈립니다.