벤치마크 1위가 현장에서 14%짜리가 되는 구조
2024년 3월, Cognition Labs가 공개한 Devin은 SWE-bench에서 당시 최고 점수인 13.86%를 기록했다. 전 세대 대비 7배 도약이었고, 인터넷은 '소프트웨어 엔지니어의 종말'을 선언하기 바빴다. 그로부터 1년 뒤, 한 독립 팀이 Devin에게 실제 태스크 20개를 맡겼다. 만족스럽게 완료된 건 3개. 14개는 완전한 실패였다.
같은 숫자를 두 번 읽어야 한다. 벤치마크 점수 13.86%의 반대편은 86.14% 실패율이다. 데모 영상은 분자만 찍는다. 분모는 언제나 카메라 밖에 있다.
데모와 프로덕션 사이의 간극은 '도덕적 실패'가 아니다
dev.to에 게재된 Devin 사례 분석(vibeagentmaking)이 정확하게 짚은 지점이 있다. 에이전트 데모와 실전 사이의 간극은 벤더의 거짓말이 아니라 구조적 필연이라는 것이다.
두 가지 메커니즘이 반복된다. 첫째, 에이전트는 막혀 있어도 진행 중인 것처럼 보인다. 사람 주니어 개발자는 막히면 막힌 티가 난다. 에이전트는 막혀도 유창하게 서술하고 깔끔한 diff를 만든다. Devin이 막다른 길에서 며칠을 허비한 건 모델 결함이 아니라, 에이전트에게 '이건 근본적으로 안 된다'고 판단하는 능력이 없기 때문이다. 둘째, 모든 데모는 성공 사례에서 선별된다. 성공률 14% 시스템도 충분히 많은 시도를 하면 인상적인 성공 클립을 얼마든지 만들 수 있다.
팀 리드가 기억해야 할 원칙은 하나다. 검증하지 않은 부분은 에이전트의 자신감이 조용히 대체한다.
Devin의 재포지셔닝이 가르쳐 주는 것
Cognition이 그다음에 한 일을 보면 평가 프레임이 보인다. 월 500달러짜리 '자율 AI 엔지니어'는 4개월 만에 월 20달러짜리 '감독형 IDE 에이전트'로 가격이 25분의 1로 내려갔다. 이건 할인이 아니라 포지셔닝 교체다. 제품이 작아진 게 아니라 주장이 현실에 맞게 조정된 것이다.
그리고 Windsurf 인수 이후 기업 매출이 두 배 이상으로 뛰면서 회사 가치는 오히려 102억 달러까지 올랐다. 자율 에이전트 내러티브는 실패했지만, 그 안에 있던 '감독형 코딩 도구'는 진짜 가치를 가졌다. 팀 리드가 도입을 평가할 때 봐야 할 건 마케팅 레이어 아래 실제 제품이 무엇인지다.
두 번째 축: 비용은 성능 다음이 아니라 동시에 봐야 한다
성능 벤치마크만 보고 도구를 고르는 건 절반짜리 평가다. dev.to에 게재된 LLM 비용 비교 데이터(rileykim)를 보면 현실이 선명해진다. Claude 3.5 Sonnet의 출력 토큰 단가는 DeepSeek V4 Flash의 60배다. HumanEval 기준 코드 생성 점수 차이는 1점이다. 93.0 대 92.0.
이 1점 차이를 60배 비용으로 살 이유가 있는 태스크가 팀에 얼마나 되는가? 실제 생산 트래픽의 70%를 DeepSeek 계열로 라우팅하고 있다는 멀티리전 운영자의 사례는 과장이 아니다. 모델 선택은 취향 문제가 아니라 태스크별 품질-비용 매핑 문제다.
AI 코딩 에이전트도 같은 논리가 적용된다. 코드 리뷰 자동화, 테스트 케이스 생성, 문서화처럼 반복성이 높고 검증이 쉬운 태스크와, 아키텍처 결정이나 복잡한 버그 추적처럼 판단 비중이 높은 태스크를 같은 가격의 에이전트로 처리할 필요는 없다.
세 번째 축: 비용 최적화의 함정—프롬프트 캐시가 조용히 0이 되는 순간
비용을 잡겠다고 프롬프트 캐싱을 설정해도, 이게 실제로 작동하고 있는지 모르는 팀이 많다. hexisteme의 분석이 정확하게 진단한다. 캐시가 깨져도 에러가 없다. 응답은 정상이고, 출력도 정확하다. 단지 청구서만 10배가 된다.
캐시 무효화는 대부분 사소한 실수에서 온다. 시스템 프롬프트에 datetime.now()를 박아 넣거나, json.dumps()에 sort_keys=True를 빠뜨리거나, 세션마다 툴 목록 순서가 바뀌거나. 이 중 하나만 있어도 캐시 히트율은 조용히 0으로 떨어진다.
팀 리드 입장에서 이건 개발자 실수가 아니라 워크플로우 설계 문제다. usage.cache_read_input_tokens를 모니터링하고, 두 번째 요청에서 캐시 히트가 없으면 큰 소리로 알람이 울리도록 어서션을 심어야 한다. 에이전트 루프처럼 동일한 대형 시스템 프롬프트를 수백 번 재전송하는 워크플로우에서 이 누수는 가장 빠르게, 가장 크게 누적된다.
팀 리드의 도입 전 평가 프레임: 세 축을 동시에 돌려라
세 가지 데이터 포인트를 종합하면 AI 코딩 에이전트 도입 평가 프레임이 만들어진다.
① 성능: 내 태스크로 직접 측정하라 벤치마크 점수는 레퍼런스일 뿐이다. 팀이 실제로 쓸 태스크 20개를 뽑아서 직접 돌려라. 성공 수, 실패 모드, 실패를 누가 어느 시점에 잡았는지를 기록하라. 에이전트가 틀렸을 때 어떻게 행동하는지가 점수보다 중요하다. '이 시스템은 틀렸을 때 누가 잡는가?'—이 질문에 대한 답이 없으면 도입을 미뤄야 한다.
② 비용: 태스크별 품질-비용 매핑을 설계하라 전체 워크플로우에 동일한 모델을 쓰는 건 과도한 지출이거나 과도한 절충이다. 반복성이 높고 검증 기준이 명확한 태스크는 저비용 모델로 라우팅하고, 판단 비중이 높은 태스크는 고품질 모델로 에스컬레이션하는 레이어를 설계하라. 이 설계가 없으면 비용 효율화는 말뿐이다.
③ 검증 인프라: 캐시 히트율과 실패 가시성을 지표로 만들어라 캐시 히트율이 대시보드에 없으면 비용이 언제 10배가 되는지 모른다. 에이전트의 실패율이 기록되지 않으면 점점 나빠지는지 좋아지는지도 모른다. 도입 비용의 일부는 반드시 이 모니터링 인프라에 써야 한다.
결국 Devin은 무엇을 증명했나
Devin의 2년짜리 아크가 가르쳐 준 건 단순하다. 자율 에이전트 내러티브는 투자를 끌어오고, 감독형 도구가 실제 일을 한다. 팀 리드가 살 것은 데모 영상이 아니라 그 아래 있는 실제 제품이다.
지금 시장에 나와 있는 AI 코딩 에이전트 대부분은 Devin 2.0처럼 '감독형, 범위 한정, 검토 전제' 구조로 수렴하고 있다. 이 구조가 맞다. 문제는 팀이 이 구조를 도입 전에 제대로 평가하고 있느냐다.
성능·비용·검증 세 축을 동시에 평가하지 않으면, 팀은 Devin 초기 고객들이 겪은 것을 그대로 반복하게 된다. 86%의 분모는 여전히 카메라 밖에 있다. 그걸 카메라 안으로 가져오는 게 팀 리드의 일이다.