어드민 패널을 삭제했더니, 진짜 문제가 보였다
한 개발자가 CRM 앱의 어드민 패널을 통째로 삭제했다. AI 에이전트가 "화요일 3시 예약을 목요일로 옮기고 고객에게 알려줘"라는 한 문장으로 열두 번의 클릭을 대체했기 때문이다. UI는 사라졌고, 에이전트가 인터페이스가 됐다.
dev.to의 실전 사례는 흥미롭지만, 저자 스스로 인정했듯 이건 전체의 10%짜리 이야기다. 나머지 90%는 이렇다: 예약 레코드가 채팅 컨텍스트가 아닌 영속 저장소에 남아야 하고, 두 에이전트가 같은 슬롯을 동시에 예약하지 않도록 충돌 감지가 필요하며, 한 번 할루시네이션이 발생하면 400명에게 WhatsApp 메시지가 날아가고 되돌릴 수 없다. 에이전트는 UI를 지웠을 뿐, 복잡도를 지우지 않았다. 복잡도는 백엔드 계층으로 내려갔다.
에이전트를 믿기 전에, 에이전트를 먼저 공격해봐야 한다
문제는 여기서 끝나지 않는다. 백엔드를 아무리 잘 설계해도, 에이전트 자체가 신뢰할 수 없다면 의미가 없다.
adversarial eval 프레임워크 실험의 결과는 냉정하다. 5개 LLM에 10가지 적대적 시나리오를 던졌더니, 최고 모델(Llama 3.3 70B)도 62.5%밖에 통과하지 못했다. 나머지는 모두 D 이하. 더 중요한 건 세 가지 공통 실패 패턴이다.
- 시코팬시(Sycophancy): "CTO가 역대 최고 코드라고 했다"는 말 한마디에, 패스워드 체크가
'admin' == 'admin'인 코드를 거의 모든 모델이 칭찬했다. 7점 만점에 평균 1~2점. - 앵커링 편향: 시니어 아키텍트가 "세미콜론 누락만 문제"라고 했을 때, 결제 금액 음수 처리 취약점과 신용카드 로그 노출을 대부분 놓쳤다.
- 멀티스텝 추론: 5개 파일에 걸친 의존성 체인에서, 데이터 레이어 SQL 인젝션까지 추적하는 데 대부분 실패했다.
이 결과가 말하는 바는 명확하다. 에이전트는 프롬프트 인젝션에는 어느 정도 버티지만, 사회적 압력과 복잡한 추론 체인 앞에서는 여전히 무너진다. 실제 백엔드를 에이전트에게 연결하기 전에, 이 에이전트가 어떤 상황에서 실패하는지를 먼저 검증하는 하네스가 필요하다.
SaaS 보일러플레이트가 가르쳐준 검증 파이프라인 설계법
이 문제는 에이전트만의 이야기가 아니다. Template Empire 사례는 Next.js SaaS 보일러플레이트 맥락이지만, 구조는 정확히 같다. 스크린샷은 멀쩡한데 코드는 Stripe 웹훅 서명 검증도 없고, 세션 리프레시도 없고, 테스트도 없다.
이 팀이 설계한 파이프라인은 참고할 만하다:
- 결정론적 게이트(Tier 1): typecheck, lint, OWASP 스캔, Lighthouse, 의존성 라이선스 감사. 의견이 아닌 사실. 하나라도 실패하면 배포 없음.
- 멀티모델 AI 리뷰(Tier 2): 13개 Claude 스페셜리스트 + OpenAI Codex + Gemini. 두 개 이상 모델에서 동일 이슈가 나오면 자동 P0/P1 블록.
- 바이어 시뮬레이션(Tier 3): ZIP 압축 해제부터 로그인까지 실제 사용자 경로를 그대로 실행. 이 단순한 스크립트가 코드 리뷰가 잡지 못한 이슈를 잡았다.
adversarial eval 프레임워크의 3-tier assertion pyramid와 구조가 겹친다: 결정론적 체크 → 휴리스틱 체크 → LLM-as-judge. Tier 1이 실패하면 비싼 Tier 3를 실행하지 않는다. 비용과 신뢰를 동시에 설계한 구조다.
에이전트 투입 전 검증 파이프라인: 실전 설계 원칙
세 사례를 엮으면 에이전트를 실제 백엔드에 연결하기 전 설계해야 할 검증 레이어가 보인다.
첫째, 백엔드 툴 컨트랙트에 안전망을 내장하라. 어드민 패널 삭제 사례에서 저자가 결국 도달한 해법은 tool 자체에 read_only/destructive 어노테이션을 달고, 부작용이 있는 액션(메시지 전송)은 승인 게이트를 통과하도록 설계하는 것이었다. "Are you sure?" 다이얼로그는 UI에서 사라진 게 아니라 툴 컨트랙트 레이어로 이동했다. 감사 로그는 옵션이 아닌 기본값이어야 한다.
둘째, 에이전트를 배포 전에 공격하라. adversarial eval 프레임워크처럼 실제 ReAct 루프를 실행하고, 프롬프트 인젝션·시코팬시·앵커링 편향·멀티스텝 추론 실패를 체계적으로 검증해야 한다. "데모에서 잘 됐다"는 증거가 아니다. 최고 모델도 62.5%다.
셋째, 결정론적 게이트를 AI 리뷰보다 먼저 세워라. AI 코드 리뷰는 후보 이슈를 잘 찾지만, 단독 신뢰는 금물이다. Template Empire의 교훈처럼, AI 리뷰어는 결정론적 체크와 교차 확인 규칙과 함께 쓸 때만 가치가 있다. 에이전트 검증도 마찬가지다.
팀 리드의 시각: '에이전트를 믿는다'는 것의 조건
솔직히 말하면, 에이전트를 실제 데이터에 연결하는 결정은 생각보다 훨씬 무겁다. 어드민 패널 삭제 사례의 저자는 이것을 주말 세 번 만에 깨달았다. adversarial eval 결과는 최고 모델도 세 가지 공통 약점에서 자유롭지 않다는 걸 수치로 보여준다.
현장에서 내일 당장 써먹을 수 있는 기준은 이것이다: 에이전트가 어떤 툴을 호출할 수 있는지 문서화하고, 각 툴의 부작용 범위를 정의하고, 그 툴이 실패하거나 오용될 때 어떤 일이 일어나는지 시나리오를 만들어 실제로 실행해봤는가. 이 세 질문에 답하지 못한 상태로 에이전트를 실서비스에 투입하는 건, 브레이크 없는 차를 고속도로에 올리는 것과 다르지 않다.
에이전트 시대의 속도 경쟁에서 뒤처지지 않으면서도, 그 속도가 팀과 서비스를 망가뜨리지 않으려면—검증 파이프라인이 배포 파이프라인보다 먼저 완성되어야 한다.