프로덕션 에이전트의 성장 병목은 대개 ‘정답률’이 아니라 ‘신뢰성’에서 먼저 터집니다. 데모에서는 똑똑한데, 실제 유저는 3~4턴째부터 이상 행동(헛소리, 포맷 깨짐, 지시 무시)을 경험하고 바로 이탈합니다. 이 문제는 D7/D30 리텐션뿐 아니라 유료 전환(“이거 믿고 결제해도 되나?”)과 세일즈 사이클(보안·리스크 검증)까지 한 번에 늘려버립니다.
dev.to의 「Why Your Claude Agent Breaks After 3 Turns」는 이 현상을 ‘컨텍스트 포이즈닝(Context Poisoning)’으로 정리합니다. 대화 히스토리를 계속 붙이는 순간, 모델은 과거의 자기 출력에 편향되어 다음 출력이 점점 드리프트합니다. 글에서 관측된 수치도 직관적입니다. 객관식에 가까운 작업에서 5턴에 정확도 -23%, 8턴에 -41%까지 떨어졌습니다. 중요한 건 “길어서”가 아니라 “자기 말이 자기의 근거가 되는 구조”가 누적된다는 점입니다. 리텐션 관점에선 1~2회 ‘와’ 하는 경험 뒤, 3번째 작업에서 배신당하는 순간이 이탈 트리거가 됩니다.
해법은 프롬프트 미세조정이 아니라 ‘상태 관리 아키텍처’ 쪽에 가깝습니다. 첫째, Stateless Agent 패턴: 작업마다 대화 로그를 들고 가지 말고, 구조화된 state(사실/결정/제약/결과)를 재주입해 매번 깨끗한 컨텍스트로 시작합니다. 둘째, 필요하면 “Append”가 아니라 “Summarize”: 완료된 턴은 한 문장 요약으로 압축해 독성(편향)을 줄입니다. 셋째, 시스템 프롬프트 말미에 앵커를 박아 원래 목표로 되돌리는 리마인더를 강제합니다. 이 셋은 모두 ‘멀티턴의 기억’이 아니라 ‘멀티턴의 오염’을 통제하는 장치입니다.
하지만 신뢰성은 한 번 고쳤다고 끝나지 않습니다. 또 다른 dev.to 글 「I Ran 300 LLM Drift Checks」는 6주간 6시간 간격으로 300회 드리프트 체크를 자동화해, 실패의 분포를 보여줍니다. 실패의 47%가 포맷 드리프트(JSON에 서문을 붙이거나 필드 순서를 바꾸는 등), 31%가 장황함 드리프트, 22%가 지시 드리프트였습니다. 즉, 사용자 입장에선 “말은 그럴듯한데 제품이 자꾸 삐끗”하는 유형이 가장 흔합니다. 더 까다로운 포인트는 드리프트가 단조롭게 악화되지 않고, 어느 날은 돌아오기도 한다는 것(프로바이더의 라이브 업데이트/리버트). 이 말은 곧 ‘리베이스라인을 자주 덮어써서 정상으로 착각하는’ 운영 리스크가 생긴다는 뜻입니다.
여기서 성장팀이 해야 할 일은 명확합니다. 신뢰성을 “품질”이 아니라 “퍼널 지표”로 다시 정의하는 것. 예를 들어 (1) 온보딩 구간에선 JSON parse 성공률/툴 호출 성공률을 Activation KPI로 넣고, (2) 리텐션 구간에선 세션당 드리프트 이벤트율(포맷/지시/장황함)을 D7 코호트로 쪼개며, (3) 수익화 구간에선 드리프트 없는 작업 완료율과 결제 전환의 상관을 추적해야 합니다. 사용자 설문에서 ‘환각/오류’가 가장 큰 우려로 나타났다는 앤트로픽 조사(aitimes 보도)는, 이 연결이 심리적 가설이 아니라 시장 신호임을 확인해줍니다. 유저는 일자리보다 “시간 낭비와 사고 위험”을 더 무서워합니다.
실험 아이디어는 운영에서 바로 나옵니다. ① ‘Stateless 기본값’ 플래그를 켠 코호트 vs 기존 히스토리 유지 코호트로 D7/D30, 작업 성공률, CS 티켓률을 A/B. ② 요약 길이(1문장/3문장)와 요약 주기(3턴/5턴)로 드리프트 이벤트율과 토큰비용을 동시에 최적화. ③ 포맷 드리프트가 가장 흔한 만큼, JSON strict 모드+후처리(validator/repair) 도입 전후로 “재시도 횟수/지연시간/이탈”을 함께 측정. 핵심은 ‘더 똑똑한 모델’이 아니라 ‘더 예측 가능한 제품’을 만드는 쪽이 CAC를 낮추고 LTV를 올린다는 점입니다(불신으로 인한 재방문 비용, 세일즈 검증 비용이 줄어듦).
전망은 분명합니다. 앞으로 에이전트 경쟁의 상한선은 모델 파라미터가 아니라 “드리프트를 조기에 감지하고, 컨텍스트를 오염시키지 않으며, 포맷과 지시를 안정적으로 고정하는 운영 능력”에서 갈립니다. 프로덕션에서 ‘조용히 깨지는’ 순간을 계측으로 드러내고, 아키텍처(Stateless/요약/앵커)와 모니터링(베이스라인 비교/유사도/파싱률)로 통제하는 팀이 리텐션을 방어합니다. 결국 신뢰성은 기능이 아니라, 반복 사용을 만들어내는 성장 엔진입니다.