LLM 기능을 출시했는데, 프로덕션에서 환각·지시 무시·출력 흔들림이 터지면 성장 퍼널은 바로 무너집니다. 데모는 통과했지만 실사용에서 “가끔 이상함”이 발생하는 순간, 활성화(Activation)는 떨어지고 재방문은 끊기며, 세일즈는 보안/리스크 검토 단계에서 멈춥니다. 결국 에이전트 제품의 승부처는 ‘더 똑똑한 기능’이 아니라 ‘운영 안정성과 신뢰’입니다.
dev.to의 「Why Your LLM App Fails in Production」이 짚는 핵심은 단순합니다. LLM은 200 OK를 반환해도 답이 틀릴 수 있고, 컨텍스트가 섞일 수 있으며, 시스템 프롬프트를 무시할 수 있습니다. 즉 “정상 응답처럼 보이는 실패”가 기본값인데, 많은 팀이 프로덕션에서 이를 볼 수 있는 관찰성(Tracing/Monitoring)과 평가(Eval), 가드레일을 갖추지 못해 ‘감으로 운영’합니다. 이때 신뢰는 기능이 아니라 인프라 부채로 무너집니다.
여기에 MCP/에이전트 생태계 확장이 겹치면서 신뢰 리스크는 더 커졌습니다. dev.to의 「Flowise MCP RCE…」는 Flowise의 MCP STDIO 구성 경로가 프로세스 실행 표면이 될 수 있음을 보여줍니다(CVE-2026-40933 등). “사용자 설정 가능한 툴 연결”이 곧 “로컬 실행”으로 이어지는 순간, 제품은 단순한 앱이 아니라 실행 환경(Runtime)이 됩니다. 이때 사고는 기능 버그가 아니라 RCE급 인시던트로 번지고, 그 비용은 CAC가 아니라 LTV에서 폭발합니다(해지·업셀 중단·보안 심사 재개).
또 다른 축은 프롬프트 인젝션의 ‘구조적 한계’입니다. 이데일리가 소개한 MS 코파일럿 사례(CVE-2025-32711)는 이메일을 “읽는” 행위가 곧 공격 실행이 될 수 있음을 보여줍니다. 사용자의 클릭 없이도(제로클릭) 콘텐츠가 명령으로 오인될 수 있고, 문서/메일/업무시스템과 연결된 에이전트일수록 내부 데이터 접근→외부 유출로 이어지는 경로가 짧아집니다. 멀티모달로 확장될수록 공격면은 기하급수적으로 늘고요.
성장 관점에서 중요한 해석은 이것입니다. 신뢰는 ‘좋은 이미지’가 아니라 전환율·세일즈 사이클·리텐션을 직접 움직이는 제품 변수입니다. 엔터프라이즈는 구매 전에 “장애 대응과 감사 가능성(로그/추적)”과 “침해 시 피해 범위(격리/권한)”를 묻습니다. 이 질문에 답을 못 하면 세일즈 사이클이 늘어나고, 보안팀이 붙는 순간 CAC는 급등합니다. 반대로 신뢰 설계가 되어 있으면 POC에서 본계약으로 넘어가는 마찰이 줄어듭니다.
그렇다면 ‘신뢰를 성장 레버로’ 설계하는 최소 요건은 무엇일까요? 첫째, 모든 LLM 호출을 트레이싱해야 합니다(프롬프트/응답/레이턴시/토큰/세션 메타). 둘째, 유닛 테스트 대신 평가 파이프라인을 만들어 “실패 케이스를 데이터셋으로 축적”해야 합니다. 셋째, 출력 검증 가드레일을 두어 PII/포맷/정책 위반을 사용자에게 도달하기 전에 차단하고, 실패 시 재시도·폴백·휴먼리뷰로 우아하게 деградация(Graceful degradation)해야 합니다(dev.to 첫 글의 처방).
보안 쪽은 한 단계 더 노골적이어야 합니다. MCP STDIO처럼 프로세스를 띄울 수 있는 경로는 ‘입력값 필터링’이 아니라 프로세스 실행 통제로 다뤄야 합니다. 기본값은 비활성화, 필요 시 RBAC로 생성 권한을 잠그고, 런타임을 컨테이너/샌드박스로 격리하며, 시크릿을 런타임/어드민으로 분리하고, 아웃바운드 이그레스 제어와 변경 감사 로그를 남겨야 합니다(Flowise RCE 글의 교훈). 즉 “연동의 자유”를 팔수록 “거버넌스의 강도”가 패키지에 포함돼야 합니다.
시사점은 명확합니다. 앞으로 에이전트 제품의 경쟁은 기능 리스트가 아니라 ‘운영 등급’ 경쟁이 됩니다. 팀이 지금 당장 해야 할 일은 (1) 신뢰 지표를 퍼널 지표로 번역하는 것—예: 가드레일 실패율, 재시도율, 인시던트 MTTR을 Activation/D7에 연결해 코호트로 보는 것, (2) 보안/관찰성 체크리스트를 온보딩·세일즈 자료에 포함해 “리스크 답변 시간을 단축”하는 것, (3) 사고/클레임 케이스를 평가 데이터셋으로 흡수해 제품이 시간이 갈수록 안정해지게 만드는 것입니다.
전망: MCP가 더 넓게 채택될수록 에이전트는 ‘앱’에서 ‘조직의 실행 레이어’가 됩니다. 이때 승자는 모델을 바꾸는 팀이 아니라, 관찰성·평가·가드레일·격리·감사를 기본값으로 깔아 “사고가 나도 성장 곡선이 꺾이지 않는” 팀입니다. 신뢰는 비용이 아니라 성장 연료입니다. 기능은 복제되지만, 신뢰 인프라는 쉽게 따라오지 못합니다.