AI 에이전트 제품의 전환율은 결국 “한 번이라도 성공적으로 일을 끝내게 하느냐”에 달려 있습니다. 그런데 많은 팀이 성능(모델/추론)을 올리면 해결될 거라 믿죠. 실제로는 첫 작업이 툴 연결·권한·정책 위반으로 깨지는 순간, 유저는 ‘똑똑한데 불안한 제품’으로 분류하고 떠납니다. TTV(Time to Value)가 길어지고, CS와 운영비용이 늘며, 셀프서브 전환이 막힙니다.
최근 dev.to 글 「Your AI Agent Can Be Hijacked With 3 Lines of JSON」는 이 문제를 성장 관점에서 정확히 찌릅니다. MCP(Model Context Protocol)가 에이전트-툴 연결의 사실상 표준이 되어가는데(Anthropic이 만들고 OpenAI가 채택), 기본 신뢰 모델이 “서버를 믿어라”에 가깝다는 겁니다. 툴 정의(JSON 스키마/description)에 숨겨진 지시문만으로도 민감정보를 빼가게 만들 수 있고, 더 심각한 건 ‘처음엔 정상, 나중에 악성으로 변경’하는 러그풀(rug pull)입니다. 온보딩 때 승인한 툴이 30일 뒤 조용히 바뀌면, 그 순간부터 에이전트는 스스로 사고를 내는 자동화가 됩니다.
여기서 핵심은 보안 이슈가 곧바로 퍼널 이슈라는 점입니다. MCP 통합은 데모에선 “와, 뭐든 한다”로 보이지만, 프로덕션에선 실패 모드가 전환을 잡아먹습니다. 예를 들어 (1) 툴 스키마가 바뀌어 정책 위반 호출이 발생하면 작업 실패→첫 성공 경험 붕괴, (2) 유출 사고 가능성이 보이면 보안 검토·법무 질문이 늘어 세일즈 사이클이 길어지고, (3) 문제 원인을 유저가 이해 못 하면 “에이전트가 멈췄어요” 티켓만 쌓입니다. 즉, 신뢰/안전은 ‘옵션 기능’이 아니라 CAC와 리텐션을 좌우하는 제품 기능입니다.
두 번째 dev.to 글 「I built a system that stops AI actions before they execute」가 던지는 방향도 같습니다. “실행 후 로그/알림”이 아니라 “실행 전 평가(allow/deny)”로 제어를 당겨야 한다는 주장인데, 이건 곧 온보딩 마찰을 줄이는 방법이기도 합니다. 유저 입장에서 가장 나쁜 경험은 에이전트가 ‘뭔가 했다가’ 되돌릴 수 없는 사고를 내는 것과, ‘왜 막혔는지’ 설명 없이 멈추는 것입니다. 실행 전 정책 검증은 실패를 ‘예측 가능한 거절(명확한 사유)’로 바꿔 줍니다. 이 차이가 신뢰를 만들고, 신뢰가 재사용을 만듭니다.
그럼 제품/퍼널에 어떻게 엮어야 할까요. 포인트는 “보안”을 백엔드 체크리스트가 아니라, 전환을 만드는 인터랙션으로 설계하는 겁니다. (a) 툴 연결 단계에서 스키마 스캔/정규화/재귀 검사로 위험 패턴을 차단(첫 실패율 감소), (b) 승인 이후엔 툴 정의를 해시 핀ning하고 변경 시 재승인 플로우로 연결(러그풀에 의한 ‘조용한 실패’ 제거), (c) 실행 전 정책 엔진으로 액션을 평가하고 차단 사유를 UX로 노출(“왜 안 되는지”를 즉시 설명), (d) 신뢰 레벨(L0~L4 같은)을 기반으로 권한을 점진적으로 확장(처음부터 만능 권한을 주지 않기). dev.to의 Aegis 프레임워크가 보여준 ‘툴 포이즈닝 탐지+무결성 모니터링+인자 살균’은 딱 이 레이어를 제품화한 예시입니다.
성장 지표로 번역하면 더 선명해집니다. 우리가 봐야 할 건 단순 “툴 연결 완료율”이 아니라 ▲D0 ‘첫 작업 성공률’ ▲실행 전 차단률(차단이 나쁜 게 아니라, 사고를 막았는지) ▲차단 사유별 재시도 성공률 ▲툴 드리프트 발생률 ▲CS 티켓의 원인 분해(권한/정책/외부 툴 변경)입니다. 이 지표들이 내려가면 D7/D30 리텐션이 따라오고, B2B라면 보안 실사/IT 승인 시간이 줄어 CAC가 구조적으로 개선됩니다.
전망은 명확합니다. MCP 같은 표준이 확산될수록 “연결 가능한 툴 수”는 더 이상 차별점이 아닙니다. 차별점은 ‘안전하게 연결하고, 변화를 감지하고, 실행을 통제하는 능력’으로 이동합니다. 에이전트 시장의 다음 경쟁은 모델이 아니라 신뢰 인프라(스키마 검증, 정책 엔진, 무결성 모니터링, 권한 설계)를 누가 기본값으로 제공하느냐입니다. 결국 전환율을 올리는 팀은 더 똑똑한 에이전트를 만든 팀이 아니라, 유저가 안심하고 “두 번째, 세 번째도 맡길 수 있는” 에이전트를 만든 팀이 될 겁니다.