AI 에이전트/LLM 제품에서 COGS는 단순히 “클라우드 비용”이 아닙니다. 가격을 얼마나 공격적으로 실험할 수 있는지(ARPU), 무료 구간을 어디까지 열 수 있는지(전환율), 결국 LTV가 CAC를 이길 수 있는지까지 결정하는 핵심 변수입니다. 기능이 늘수록 호출이 늘고, 호출이 늘수록 COGS가 곧 성장의 سق(상한)이 됩니다.
dev.to의 Patrick 사례는 이 현실을 숫자로 보여줍니다. 4개 에이전트를 24/7로 돌리며 월 $340(실측 정리 구간에서는 $218)까지 치솟던 API 비용을, 품질과 가동률을 유지한 채 월 $18로 낮췄습니다. 핵심은 “최고 모델 고정”을 버리고, 작업 난이도에 따라 3단계 모델 스택(cheap/balanced/premium)으로 라우팅한 것입니다. 이메일 10분 체크 같은 반복 작업에 프리미엄 모델을 태우는 순간, COGS는 제품이 아니라 습관이 됩니다.
여기서 중요한 맥락은 ‘수동 분기’가 아니라 ‘classifier-first’ 패턴입니다. 가장 싼 모델로 메타 호출을 한 번 날려 티어를 분류하고, 대부분의 요청을 Tier1~2에서 끝냅니다. 그리고 불확실할 때만 상위 모델로 에스컬레이션합니다(cheap→mid→premium). 이 구조는 단순 절약이 아니라, “품질 리스크는 필요한 곳에만 보험료를 낸다”는 운영 설계입니다. 성장 관점에서 보면, 고비용 판단을 ‘일일 1회 전략 호출’ 같은 저빈도 이벤트로 격리하는 게 포인트입니다.
두 번째 기사(요코마치)는 또 다른 COGS 폭탄을 지적합니다: 툴이 많아질수록 입력 토큰이 고정비처럼 붙는 문제입니다. 28개 툴 정의(JSON 스키마)만으로 약 5,000토큰이 매 호출에 실려가고, 시스템 프롬프트·메모리까지 합치면 “아무 일도 안 했는데” 콜당 10,000토큰 고정비가 생깁니다. 하루 100콜이면 월 수천만 토큰이 ‘대기비’로 연소합니다.
해법은 서브에이전트 분할(Sub-Agent Splitting)입니다. 메인 에이전트는 자주 쓰는 최소 툴만 들고, 캘린더/메일/노션처럼 도메인별 툴 세트는 서브에이전트로 떼어 “필요할 때만” 로드합니다. 총합 토큰이 항상 줄어드는 건 아닙니다(서브에이전트 호출 시 그쪽 프롬프트/툴 정의가 추가되니까요). 하지만 성장에 중요한 건 평균 COGS입니다. ‘매 콜에 실리는 고정 토큰’을 줄이면, 사용량이 늘어도 마진이 덜 무너지고 가격 실험의 폭이 커집니다.
시사점은 명확합니다. 에이전트 COGS 절감은 (1) 모델 라우팅으로 “비싼 추론”을 저빈도로 만들고, (2) 서브에이전트 분할로 “툴/프롬프트 고정비”를 저빈도로 만드는 이중 구조가 정답에 가깝습니다. 이 둘을 묶으면 제품팀이 얻는 레버는 3가지입니다. 첫째, 프리미엄 모델을 ‘핵심 전환 순간’(결제 직전 상담, 이탈 방지, 고가 플랜 온보딩)에 집중 투자할 수 있습니다. 둘째, 무료/저가 플랜에서 감당 가능한 원가가 내려가 퍼널 상단을 더 넓게 열 수 있습니다. 셋째, COGS 변동성이 낮아져 LTV 예측이 안정되고, CAC 한계선을 뒤로 밀 수 있습니다.
전망: 앞으로 에이전트 제품의 경쟁력은 “누가 더 똑똑한가”보다 “누가 더 싸게, 더 일관되게 운영 가능한가”로 수렴합니다. 라우팅/에스컬레이션은 사실상 에이전트의 ‘자동 비용 통제 OS’가 되고, 서브에이전트 분할은 ‘토큰 고정비를 이벤트화’하는 아키텍처 표준이 될 가능성이 큽니다. 지금 당장 해야 할 일은 단 하나입니다. 작업 단위(태스크 타입/도메인/빈도/실패 비용)로 콜 로그를 쌓고, “고빈도·저위험”을 Tier1로 떨어뜨리는 것부터 시작하세요. COGS가 내려가는 순간, 가격과 전환율 실험이 열리고 성장의 엔진이 켜집니다.