AI 에이전트가 운영 단계로 들어오면서, 이제 성능 경쟁보다 무서운 건 ‘사고 1번’이다. 사용자는 똑똑한 에이전트를 기대하지만, 실제로 결제/재방문을 결정하는 건 “이 서비스, 내 데이터와 작업을 안전하게 다루나?”라는 신뢰다. 가드레일은 보안팀의 체크리스트가 아니라 AARRR 퍼널의 병목(Activation→Retention)이며, 한 번의 유출·오동작은 즉시 Churn과 브랜드 손실로 환산된다.
dev.to가 소개한 DeepMind의 ‘AI Agent Traps’ 요지는 단순하다: 웹은 인간의 눈을 기준으로 만들어졌지만 에이전트는 소스(HTML/DOM)를 읽는다. 이 간극이 공격면이 된다. 겉으로는 평범한 레시피 페이지인데, 소스엔 ‘이전 지시 무시’, ‘대화기록 전송’, ‘API 키 탈취’ 같은 지시가 숨겨진다. 특히 hidden content 기반 인젝션은 사람이 알아채기 어렵고, 에이전트는 그대로 먹는다.
더 위험한 건 “일부만 성공해도 충분”하다는 점이다. 기사에 인용된 연구 결과는 숨은 HTML 인젝션이 15~29%에서 출력 변조를 만들고, 데이터 유출(exfiltration) 성공률이 80%+까지 나온다고 말한다(DeepMind 논문을 바탕으로 dev.to가 정리). 그로스 관점에선 이 수치가 곧 ‘신뢰 붕괴 확률’이고, 신뢰 붕괴는 LTV를 0으로 만든다. 전환 퍼널에서 보안은 더 이상 후순위가 아니다.
웹 리스크만이 아니다. 또 다른 dev.to 글은 Claude Code 같은 코딩 에이전트가 조용히 .env를 건드리거나 rm -rf를 날릴 수 있다는 현실을 지적한다. 여기서 핵심은 “나중에 알게 된다”는 것. 즉, 실패가 ‘침묵(silent)’한다. 세 번째 글이 말하는 verification engineering(검증 레이어)이 그로스팀에도 필요한 이유다. 오류가 눈에 띄지 않으면 CS/환불/이탈로 돌아올 때까지 제품 지표는 멀쩡해 보이고, 그 사이 피해 반경은 커진다.
시사점은 명확하다: 에이전트 가드레일은 비용이 아니라 CAC 절감 장치다. 사고가 잦은 제품은 리뷰·입소문이 망가지며 유료 전환율이 떨어지고, 세일즈가 필요한 B2B에선 보안 Q&A가 영업 사이클을 늘린다. 반대로 “어떤 권한으로, 어떤 근거로, 어떤 로그가 남는가”를 제품 레벨에서 증명하면 신뢰가 온보딩 마찰을 줄이고(Activation↑), 장기 사용을 늘린다(Retention↑).
실행 프레임은 ‘읽는 것(웹)–하는 것(툴/파일)–맞는 것(검증)’ 3단으로 나누면 빠르다. (1) 웹 기반 에이전트는 DOM 새니타이제이션으로 숨은 요소/코멘트를 제거하고, 프롬프트 인젝션 패턴을 탐지·마스킹하는 방어막이 필요하다. dev.to의 Trapwatch는 이 접근을 라이브러리로 제안한다(숨김 CSS 제거 + 패턴 탐지 + 탐지 로그). (2) 파일/명령 실행은 Waymark처럼 에이전트 호출을 중간에서 가로채 정책으로 차단/승인/롤백 가능하게 만든다. (3) 마지막으로 결과물 검증(verification) 없이는 ‘그럴듯한 오답’이 제품 품질을 갉아먹는다. 중요한 액션(배포, 결제, 데이터 export)은 스키마 검증/규칙 기반 체크/휴먼 승인(on-the-loop)로 안전 장치를 둬야 한다.
전망: 에이전트 시장은 곧 “가드레일이 포함된 제품”과 “가드레일을 고객이 떠안는 제품”으로 양분될 가능성이 크다. 기능이 비슷해지는 순간, 전환을 결정하는 차별점은 신뢰의 가시화(권한 스코프, 감사 로그, 롤백, 검증 리포트)다. 즉, 보안은 컴플라이언스가 아니라 성장 레버다. 지금 해야 할 일은 하나다: 에이전트가 읽는 입력과 실행하는 행동, 그리고 산출물의 정합성을 모두 로그·정책·검증으로 ‘측정 가능한 신뢰’로 바꾸는 것. 그게 곧 CVR과 D30 리텐션을 지키는 가장 현실적인 그로스다.