생성형 AI 시스템의 성능 병목을 모델 파라미터 크기나 훈련 데이터의 한계로 귀결시키는 것은 실무적 데이터가 결여된 단편적 시각이다. 최근 브런치에 공유된 하네스(Harness) 엔지니어링 벤치마크와 Dev.to의 컨텍스트 윈도우 최적화 포스트가 교차 검증하는 핵심은 명확하다. 에이전트의 추론 품질과 단위 경제학(Unit Economics)을 결정하는 것은 모델 자체가 아니라, 모델이 구동되는 컨텍스트 환경의 구조적 최적화에 있다.
국내 개발자의 Claude Code Harness 실험 결과는 환경 통제의 통계적 유의성을 여실히 증명한다. 동일한 LLM을 사용했음에도, 하네스(프로젝트 청사진, 스킬, 서브에이전트, 커맨드의 체계적 구성) 적용 여부에 따라 코딩 과제 평균 점수가 49.5점에서 79.3점으로 60% 폭증했다. 특히 복잡한 아키텍처 문제일수록 격차는 36점 이상 벌어졌다. 반면, ETH 취리히 연구진의 데이터는 '맹목적인 컨텍스트 주입'의 위험성을 경고한다. LLM이 자동 생성한 컨텍스트 파일을 삽입할 경우, 오히려 작업 성공률은 3% 하락하고 추론 비용은 20% 상승했다. 이는 컨텍스트 윈도우 내의 정보 밀도(Information Density) 저하가 모델의 어텐션(Attention) 메커니즘에 직접적인 악영향을 미친다는 인과관계를 보여준다.
프로덕션 환경에서 에이전트 생태계가 확장될 때 발생하는 '컨텍스트 블로트(Context Bloat)'는 더욱 치명적인 리스크다. Dev.to 아티클의 로그 분석에 따르면, 53개의 스킬을 탑재한 에이전트는 단일 요청마다 약 25KB(약 6,200 토큰)의 시스템 프롬프트 오버헤드를 발생시켰다. 한 번도 사용되지 않는 45%의 잉여 스킬이 매 턴마다 불필요한 연산 비용과 지연 시간을 초래한 것이다.
이를 해결하기 위해 동적 프롬프트 주입을 시도하면, 'LLM 프리픽스 캐싱(Prefix Caching)'이 무효화되는 새로운 아키텍처 병목에 직면하게 된다. 시스템 프롬프트 앞단이 동적으로 변경되면 캐시 미스(Cache Miss)가 발생하여 매 턴마다 50~100KB의 과거 대화 내역에 대한 캐시 재기록 비용이 청구된다. 이에 대한 데이터 중심의 해결책은 '어펜드-온리(Append-only) 아키텍처'와 '벡터 임베딩 기반 라우팅'의 결합이다. text-embedding-3-small 모델로 사용자 쿼리와 스킬 설명의 코사인 유사도를 계산하여(지연 시간 100~200ms, 비용 100만 토큰당 $0.02) 매칭된 스킬만 대화 기록의 '마지막'에 덧붙이는 방식이다. 이 구조는 시스템 프롬프트의 캐시 히트율을 100%로 유지하면서도 실행 컨텍스트 토큰을 최소화하는 최적의 비용-성능 트레이드오프를 달성한다.
2025년 이후의 AI 시스템 아키텍처는 프롬프트 엔지니어링의 주술적 튜닝을 넘어, 하네스의 구조적 설계와 토큰 효율성의 정량적 통제로 진화하고 있다. ML 엔지니어는 에이전트의 확률론적 판단(신뢰도 30% 미만)에 의존하는 자율 라우팅을 배제하고, 결정론적(Deterministic) 임베딩 검색을 통해 P99 레이턴시와 토큰 비용을 동시에 압축하는 파이프라인 최적화에 집중해야 한다. 할루시네이션이나 성능 저하 앞에서 도구를 탓하기 전에, 데이터로 입증된 작업대의 효율성부터 엄밀하게 측정해야 할 시점이다.