AI 에이전트/LLM 제품에서 ‘성능’은 데모 단계의 무기일 뿐입니다. 프로덕션에서 진짜 매출을 결정하는 건 두 가지—COGS(토큰·툴 호출·지연)와 신뢰(정답성)입니다. 문제는 이 둘이 대개 에러 로그에 찍히지 않는다는 점입니다. 시스템은 멀쩡히 응답하고, 지연도 안정적인데, 사용자는 “이제 좀 멍청해진 것 같다”라며 이탈합니다. 단위경제가 무너지는 전형적인 ‘조용한 실패(silent failure)’ 패턴이죠.
dev.to의 RAG 사례는 이 위험을 정면으로 보여줍니다. 엔터프라이즈 문서 코퍼스에서 RAGAS faithfulness가 코드 변경 없이 0.91→0.67로 급락했는데도(약 3개 중 1개가 근거 없는 주장), 운영 지표(응답/에러/지연)는 정상이라 며칠간 방치됐습니다. 원인은 신규 문서 대량 유입으로 검색 분포가 바뀌며, “주제는 비슷하지만 답은 아닌” 청크가 top-k로 올라온 것. 코사인 유사도는 높게 나오니 리트리벌이 ‘자신감 있게’ 틀리고, 생성 모델은 그 빈칸을 그럴듯한 환각으로 메웠습니다.
여기서 그로스 관점의 핵심은: 이 문제는 ‘품질’이 아니라 ‘퍼널’ 이슈라는 겁니다. Activation 구간에선 한 번의 오답이 ‘아하 모먼트’를 깨고, Retention 구간에선 신뢰 손실이 누적돼 재방문 이유가 사라집니다. 특히 B2B/업무형은 “틀리면 안 쓰는” 제품이라 LTV가 바로 꺾입니다. 더 무서운 건, 오답이 많아질수록 고객지원/CS가 늘고, 내부 검수/재시도(재생성)로 토큰이 추가 소모돼 COGS가 이중으로 증가한다는 점입니다.
두 번째 dev.to 글은 비용 측면의 ‘조용한 세금’을 보여줍니다. MCP 툴을 ‘원격 도구 상자’처럼 그대로 에이전트 컨텍스트에 꽂으면, 툴 응답의 불필요한 필드(title/url/favicon/request_id 등)가 전부 입력 토큰으로 전환됩니다. 실험에서는 툴 페이로드를 필요한 필드만 남기도록 오버레이(파서/프루너)를 두자 입력 토큰이 2.9배 줄고 비용이 50% 절감됐습니다. 한 번의 호출이 아니라, 에이전트가 루프를 돌며 10번 호출하는 순간 이 절감은 곧바로 세션 마진을 결정합니다.
세 번째 글이 던지는 경고는 더 구조적입니다. embedding drift는 에러 없이 리트리벌 품질을 서서히 깎아먹습니다. 모델 버전 변경, 전처리·청킹 변경, 부분 재임베딩처럼 “그럴듯한 운영 작업”이 벡터 공간의 일관성을 깨면, 예전엔 #2로 나오던 문서가 #8로 밀립니다. 사용자 입장에선 “답이 약해졌다”이고, 사업 입장에선 “전환이 왜 떨어지지?”가 됩니다. 데이터 파이프라인의 작은 흔들림이 퍼널 전체를 흔드는 셈이죠.
시사점은 명확합니다. 에이전트 단위경제 방어는 ‘모니터링을 많이 하자’가 아니라, 정답성과 비용을 응답 파이프라인의 게이트로 승격시키는 문제입니다. RAG 사례의 해결책이었던 grounding validation(클레임 추출→근거 매칭→미지원 비율 임계치 초과 시 재생성)은 “사후 감사”가 아니라 “출고 검사”에 가깝습니다. 중요한 구현 포인트도 그로스 친화적입니다. 검증 모델을 gpt-4o-mini 같은 소형으로 돌려 지연 ~200ms만 추가하고, 대형 모델 비용 폭증을 막았습니다. 즉, 신뢰를 올리면서도 COGS를 통제할 수 있는 구조입니다(출처: dev.to RAG 시스템 사례).
실행 레벨에서 추천하는 운영 체계는 세 가지입니다. (1) 골든 세트 + 인제스트 이벤트 기반 평가: 라이브 트래픽 전량 평가는 비싸니, 대표 질의 200~500개로 RAGAS/컨텍스트 정밀도를 매일 + 인제스트마다 돌리고, 점수 하락을 알람으로 연결합니다. (2) 툴 토큰 회계: MCP는 ‘툴 필터(노출 최소화)’와 ‘툴 오버레이(응답 프루닝)’를 기본값으로 두고, tool_call당 input/output 토큰을 대시보드로 봅니다. (3) 드리프트 방지 규율: 임베딩 모델/전처리/청킹을 핀(pin)하고, 부분 재임베딩을 금지하거나 버전드 데이터셋로 강제합니다(출처: dev.to embedding drift 글).
전망: MCP/에이전트 생태계가 커질수록 ‘토큰 인플레이션’과 ‘정답성 부채’는 필연적으로 늘어납니다. 그래서 앞으로의 승자는 더 똑똑한 에이전트가 아니라, (a) 툴·컨텍스트를 슬림하게 유지해 세션 마진을 지키고 (b) grounding/드리프트를 상시 계측해 신뢰를 SLA로 제공하는 팀입니다. 제품 관점에선 이게 곧 전환율·리텐션의 바닥을 방어하는 성장 인프라입니다. 조용한 실패를 조용히 두면, CAC는 그대로인데 LTV만 떨어지는 최악의 조합이 됩니다.