에이전트 제품에서 사용자가 느끼는 ‘크래시’는 종종 버그가 아니라 지연입니다. 버튼을 눌렀는데 10~15초 동안 아무것도 안 뜨면, 유저 입장에선 실패와 동일하게 인식됩니다. 이 순간 Activation은 꺾이고(“이거 불안한데?”), 전환은 미뤄지며(“유료 결제하면 더 잘 되나?”가 아니라 “또 멈추면?”이 됨), 리텐션은 조용히 빠집니다. 그로스 관점에서 타임아웃/실패율은 기능 로드맵보다 먼저 손봐야 할 ‘퍼널 파괴자’입니다.
dev.to의 ‘glide’ 사례(“LLM Request Cascade proxy…”, “7 Principles for AI Agent Tool Design…”)는 이 병목을 정확히 찌릅니다. 핵심은 “느린 모델을 재시도”하는 전통적 방식이 오히려 대기시간을 누적시킨다는 점입니다. LLM은 인스턴스가 동일하지 않고(품질·속도·비용이 이질적), 실시간으로 컨디션이 변합니다. 즉, 단순 로드밸런싱이나 정적 라우팅만으로는 ‘지금 당장’의 UX를 지키기 어렵습니다.
glide가 잡은 건강 신호는 두 가지입니다. 첫째 TTFT(Time-to-First-Token): 스트리밍이 시작되는 순간, “4초째 첫 토큰이 없다”는 사실만으로도 이미 실패를 예측할 수 있습니다. 둘째 TTT(Time-to-Think): 일부 모델은 thinking 토큰을 내보내며 ‘시작은 빠른데’ 실제 텍스트가 늦게 나오는 경우가 있습니다. 유저에게는 화면이 비어 있는 시간=이탈 시간이라, thinking이 길어지는 케이스까지 예산(budget)으로 잘라야 합니다.
여기서 중요한 그로스 포인트는 “타임아웃을 처리”하는 게 아니라 “타임아웃을 경험하기 전에 회피”한다는 겁니다. glide는 모델별 TTFT/TTT 예산을 두고, 초과 징후가 보이면 스트림을 중단하고 다음 모델로 즉시 캐스케이드합니다. 더 나아가 최근 관측치의 p95를 굴리며(지속 저장까지) 특정 모델이 ‘오늘은 상태가 안 좋다’고 판단되면 아예 시도조차 건너뜁니다. 이건 곧, 퍼널에서 가장 비싼 구간—첫 응답까지의 공백—을 체계적으로 제거하는 설계입니다.
“그럼 비용(COGS)은?”이 질문이 스케일을 가릅니다. glide의 헤징(hedging)은 Google의 ‘Tail at Scale’ 논리를 가져와, 애매하게 느린 구간에서만 2개 모델을 경주시키고 승자만 스트리밍합니다. 중요한 건 ‘항상 더블콜’이 아니라 p95가 예산의 80%를 넘기기 시작할 때만 트리거한다는 조건부 정책입니다. 즉, 리텐션을 위해 지연 꼬리(tail)를 자르되, 결제단의 손익을 태우지 않는 방식으로 비용을 통제합니다. 그로스 언어로 번역하면: “전환/리텐션 보호를 위한 COGS 보험을, 확률적으로만 가입한다”입니다.
여기에 툴 설계 원칙(Claude Code의 7가지 원칙, dev.to)이 붙으면 제품은 더 단단해집니다. 툴이 많아질수록 에이전트는 고민이 늘고(결정 비용↑), 이는 호출 수·컨텍스트 길이·재시도로 이어져 지연과 실패가 증폭됩니다. ‘툴 수는 적게, 깊게’ ‘모델 버전 업 시 툴 재감사’ ‘스키마로 구조화 출력 강제’ 같은 원칙은 단순한 엔지니어링 미덕이 아니라, 타임아웃을 줄이는 그로스 장치입니다. 도구 호출이 예측 가능해지면 워크플로우는 결정론에 가까워지고, 전체 요청 수와 변동성이 줄어 지연 꼬리도 같이 줄어듭니다.
시사점은 명확합니다. LLM/에이전트 제품의 경쟁은 “더 똑똑한 모델”이 아니라 “끊기지 않는 체감 속도”로 이동 중입니다. 그리고 이 문제는 프론트 UX가 아니라 인프라 정책(예산·라우팅·관측성)으로 푸는 게 ROI가 큽니다. 팀이 당장 실행할 체크리스트는 간단합니다: (1) TTFT/TTT를 AARRR의 공통 KPI로 올리고(Activation/Retention에 직결), (2) p95 기반 스킵/캐스케이드 프록시를 게이트웨이에 넣고, (3) 헤징은 ‘리스크 구간’에만 제한하며, (4) Prometheus/Grafana로 모델별 지연 분포를 제품 지표와 연결하세요(지연↑ → 전환↓ 상관을 수치로 고정).
전망: 앞으로는 “모델 선택”이 제품 기능이 아니라 런타임 운영체계가 됩니다. 사용자에게는 최고 품질로 보이되, 내부적으로는 품질-속도-비용 삼각형을 실시간 최적화하는 ‘그로스 라우터’가 표준이 될 가능성이 큽니다. 타임아웃 0에 가까워질수록 온보딩 마찰이 줄고, 재방문이 늘며, 더 공격적인 가격/플랜 실험도 열립니다. 기능을 더 넣기 전에, 먼저 유저가 기다리지 않게 만들 것—지금 LLM 그로스에서 가장 싼 승부수입니다.