에이전트가 빠르게 행동할수록, 그 행동이 틀렸을 때의 비용도 빠르게 커진다. Karpathy의 autoresearch가 Git을 전체 컨트롤 루프로 쓰고, Claude Code의 GitHub Action이 이슈를 받아 PR을 여는 시대에—병목은 더 이상 "에이전트가 무엇을 할지"가 아니다. "에이전트가 커밋하기 전에 무엇을 해야 하는가"가 진짜 문제다.
그 문제를 가장 직접적으로 찌르는 오픈소스가 이번 주 세 개 동시에 나왔다. dev.to에 공개된 3-에이전트 블라인드 평가 시스템, Prism LSP, 그리고 Claude Agent SDK에 Pro/Max 구독을 연결하는 OAuth 패턴이다. 각각 독립적인 도구처럼 보이지만, 셋을 묶으면 하나의 품질 루프 청사진이 된다.
핵심 이슈: 셀프 평가는 구조적으로 실패한다
블라인드 평가 시스템의 저자가 인용하는 논문은 명확하다. Huang et al.의 "Large Language Models Cannot Self-Correct Reasoning Yet"(arxiv 2310.01798), 동일 모델이 자신의 출력을 평가할 때 발생하는 self-preference 편향, CorrectBench 결과까지—같은 모델에게 자기 계획을 비판하게 하면 원래의 맹점이 그대로 재현된다. "세 개의 리뷰어 모자를 쓴 단일 LLM"은 프롬프트 연극일 뿐이다.
GitHub은 이 문제를 이미 알고 있다. Copilot CLI의 Rubber Duck—보완적 모델 패밀리로 구동되는 리뷰 에이전트—을 4월에 출시했고, Sonnet이 Rubber Duck과 함께 실행될 때 Sonnet→Opus 성능 갭의 74.7%를 좁혔다는 측정치를 공개했다. 하지만 Rubber Duck은 Copilot CLI 안에 번들로 묶여 있다. Claude Agent SDK, LangGraph, AutoGen, CrewAI 위에서 자율 루프를 돌리는 팀은 해당되지 않는다.
도구 해부: 세 개를 어떻게 엮는가
① 3-에이전트 블라인드 평가 (github.com/ejentum/agent-teams/tree/main/blind-eval-trio, MIT 라이선스)는 HTTP 엔드포인트 하나로 호출 가능한 pre-commitment 리뷰 워크플로우다. 구조가 핵심이다:
steelmanAgent(OpenAI GPT-5-nano): 계획의 가장 강한 옹호 논거만 생성stresstestAgent(Anthropic Claude Opus 4): 계획이 실패하는 구체적 시나리오와 severity 태깅gapfinderAgent(Zhipu GLM 4.7): 누락된 가정과 아티큘레이션 깊이 비판
세 에이전트는 서로 다른 랩의 모델을 쓰고, 역할 간 도구 전환이 하드 룰로 잠긴다. 합성 노드가 없다—세 평가는 raw JSON으로 반환되고, 호출 에이전트가 직접 통합한다. 합의로 평탄화하는 순간 신호가 사라지기 때문이다.
실제로 써본 결과로 얻은 가장 중요한 설계 결정은 두 가지다. 첫째, 호출 페이로드 스키마(task, goal, steps, assumptions, expected_risks) 자체가 규율이다—에이전트는 네 필드를 채우기 전에 제출 자체가 불가능하다. 암묵적 추론을 명시적으로 강제하는 것, 이게 평가가 시작되기 전 절반의 가치다. 둘째, 저자가 솔직하게 밝히는 것처럼 bare baseline도 동등한 결과를 낸다—Ejentum 하니스는 로드베어링이 아니라 옵션이다. 구조를 지탱하는 건 cross-lab 라우팅 + 역할 규율 시스템 프롬프트 + 도구 잠금이다.
② Prism LSP는 반대편 문제를 건드린다. Claude Code가 대규모 코드베이스에서 리팩토링을 할 때 grep 기반 탐색으로 레퍼런스를 놓치는 건 구조적 한계다. VS Code의 Language Server Protocol이 이미 모든 심볼 참조와 구현체 위치를 알고 있는데, 에이전트는 그걸 못 쓰고 있었다. Prism LSP는 VS Code 익스텐션으로 LSP 기능을 MCP를 통해 Claude Code에 노출한다. 결과는 두 가지—리팩토링 정확도 향상, 그리고 반복 세션으로 낭비되던 토큰 절감. 어떤 언어든 해당 언어의 LSP가 실행 중이면 동작한다.
③ Claude Agent SDK OAuth 패턴은 팀 예산 관점에서 즉시 체감되는 문제를 해결한다. Anthropic은 구독 빌링과 API 크레딧을 완전히 분리된 계정으로 관리한다. ANTHROPIC_API_KEY를 환경에 export해둔 채 Agent SDK를 쓰면 구독이 아닌 API 크레딧이 조용히 빠져나간다. 해법은 claude setup-token으로 1년짜리 OAuth 토큰을 생성하고, ANTHROPIC_API_KEY를 unset하는 것이다. 주의할 점: 이건 개인 사용 전용이다. 멀티유저 앱에 OAuth 토큰을 쓰면 단일 quota를 모든 트래픽이 공유하게 되고, Anthropic 약관 위반이며, 토큰 유출 시 구독 전체가 드레인된다.
시사점: 팀 신뢰 임계값 설계에 바로 쓸 수 있다
이 세 도구를 팀 워크플로우에 통합하면 어떤 그림이 나오는가. 에이전트가 코드를 수정하기 전—블라인드 평가 엔드포인트를 호출해 계획을 교차 검증한다. 수정을 실행하는 동안—Prism LSP로 정확한 심볼 참조를 사용해 레퍼런스를 누락 없이 처리한다. 개발 환경에서 실험적으로 실행할 때—OAuth 토큰으로 API 크레딧 대신 구독 quota를 소진한다. 각 레이어가 독립적으로 작동하면서 품질 루프를 구성한다.
팀 리드 관점에서 가장 중요한 설계 포인트는 신뢰 임계값의 위치다. 블라인드 평가 시스템이 합성 노드를 일부러 제거한 이유—네 번째 LLM이 세 평가를 통합하면 그 LLM이 새로운 단일실패지점이 된다—는 AI 코드 리뷰 파이프라인 설계에 그대로 적용된다. 자동화된 리뷰 레이어를 쌓을수록, 최종 판단을 내리는 단계가 어디인지, 그 단계에서 누가 책임지는지를 명확히 해야 한다. 도구가 세 개의 목소리를 내더라도, 그것을 통합하는 건 팀의 몫이다.
또 하나: 저자가 "bare baseline도 동등하다"고 직접 밝히는 점을 팀 도입 결정에 활용하라. 역할 규율이 잡힌 시스템 프롬프트와 cross-lab 라우팅이 핵심이라면, 30분이면 직접 세 개의 프롬프트를 작성해 세 모델 API를 호출할 수 있다. 오픈소스 템플릿의 실제 가치는 adversarial 페이로드로 반복 실행하면서 발견한 엣지 케이스들—이전 컨텍스트 오염, gap_finder가 표면상 괜찮아 보이는 입력에서 심층 가정 비판을 건너뛰는 현상—이 이미 시스템 프롬프트에 반영돼 있다는 것이다. 그 학습 비용을 사줄 수 있다면 쓰고, 직접 튜닝할 여력이 있다면 구조만 빌려서 만들면 된다.
전망: 품질 루프의 레이어화
에이전트 자율성이 높아질수록 품질 루프는 단일 체크포인트가 아니라 레이어 구조가 돼야 한다. pre-commitment 교차 검증(실행 전), LSP 기반 정확성(실행 중), 비용 투명성(운영 중)—이 세 레이어는 각각 다른 실패 모드를 잡는다. 오늘 소개한 도구들이 흥미로운 건 셋 모두 MIT 라이선스 오픈소스이고, HTTP 엔드포인트 또는 VS Code 익스텐션 또는 SDK 인증 변경으로 즉시 통합 가능하다는 점이다.
내일 당장 시작할 수 있는 가장 작은 단위는 이것이다: Claude Code로 리팩토링을 돌리기 전에 블라인드 평가 페이로드 스키마를 강제하는 것—task, goal, steps, assumptions, expected_risks를 모두 채우게 하는 것만으로도, 에이전트가 암묵적 추론을 명시화하는 절반의 가치가 생긴다. 평가 결과를 보기 전에 이미 품질이 올라간다. 도구보다 구조가 먼저다.