매일 Claude Code나 Cursor를 쓰다 보면 반복되는 불편함이 하나 있다. 어제 3시간 디버깅한 그 오류를, 오늘 다시 설명해야 한다는 것. 아키텍처 결정의 맥락도, Windows 환경에서 마주쳤던 특이 케이스도—새 세션이 열리는 순간 에이전트의 기억에서 사라진다. 코드를 잘 짜는 도구는 많아졌지만, '함께 일했다'는 감각을 주는 도구는 여전히 드물다. 진짜 신뢰는 능력이 아니라 일관성과 문맥 보존에서 온다.
기억이 없으면 학습도 없다
이 문제를 정면으로 파고든 오픈소스 프로젝트가 있다. agentic-cortex는 AI 코딩 에이전트에 세션을 넘나드는 장기 메모리를 부여하는 시스템이다. 단순한 채팅 히스토리가 아니다. instruction, decision, error, learning 등 13가지 타입으로 분류된 메모리를, 신뢰도 점수와 출처 추적과 함께 저장한다. BGE 임베딩 기반 하이브리드 시맨틱 검색과 중복 제거 로직이 붙어 있고, 에러가 발생하면 LLM이 근본 원인을 분석해 '학습'으로 자동 전환한다. 프로젝트 A에서 배운 교훈이 프로젝트 B와 C의 에이전트를 보호하는 크로스 프로젝트 지식 전이도 지원한다. 전부 로컬에서 동작하고 추가 API 비용이 없다는 점도 실무 관점에서 매력적이다.
핵심은 '자기 개선 루프'다. 에이전트가 실수를 반복하지 않으려면 실수를 기록하고, 패턴을 찾고, 다음 세션에 그 경험을 주입할 수 있어야 한다. .cursorrules 파일처럼 사람이 수동으로 컨텍스트를 유지하는 방식은 결국 개발자의 부담이 된다. agentic-cortex가 지향하는 건 그 반대다—에이전트가 스스로 지식 베이스를 쌓고 유지한다. 정적인 규칙 파일이 아니라 살아있는 기억 시스템.
벤치마크 94%가 프로덕션에서 무너지는 이유
신뢰의 두 번째 조건은 검증의 정직함이다. dev.to에 올라온 한 글은 이 문제를 아주 직접적으로 다룬다. 팀이 배포한 코딩 에이전트는 업계 벤치마크에서 94%를 기록했다. 그리고 첫 번째 실제 엣지 케이스에서 실패했다. 이유는 단순했다—벤치마크는 단일 턴 성공을 측정했고, 실제 작업은 멀티 턴 개선이었다. 에이전트가 새로운 증거가 들어왔을 때 자신의 판단을 업데이트하는 능력, 즉 belief updating은 단일 턴 평가로는 절대 잡히지 않는다.
BayesBench 연구가 이를 실험으로 확인했다. 7개 모델 전반에서 스케일이 커질수록 잠재 추론과 증거 누적은 개선됐지만, 합리적 베이지안 업데이트에는 도달하지 못했다. 즉 모델이 커질수록 더 많이 알게 되지만, 새로운 정보에 맞춰 기존 믿음을 정확히 조정하는 능력은 여전히 부족하다. 프로덕션에서 에이전트는 수십 턴을 반복한다. 턴 1에서 멈추는 벤치마크는 정작 무너지는 지점을 재지 않는다.
더 근본적인 문제는 '관찰 가능성'이다. 같은 글에서 소개된 사례—열 개의 정제된 케이스로 완벽하게 작동하던 문서 처리 에이전트가, 프로덕션 첫 주에 본 적 없는 입력 포맷을 만나 조용히 틀린 결과를 내놨다. 에러조차 발생하지 않았다. 출력은 그럴듯해 보였고, 실제로는 틀렸다. Amazon Bedrock AgentCore 같은 도구가 CloudWatch 추적을 자동으로 붙여주지만, 관찰 가능성은 무엇이 깨졌는지를 알려줄 뿐 깨지는 것 자체를 막지는 않는다. 신뢰는 관찰 가능성과 방어적 설계가 함께 있을 때 완성된다.
자리를 비워도 돌아가는 에이전트
세 번째 조건은 연속성이다. Anthropic이 Claude Cowork를 클라우드 기반으로 전환한 것은 이 맥락에서 읽힌다. 기존 Cowork는 데스크톱 앱에서만 동작했고, 작업이 진행되려면 해당 기기가 켜져 있어야 했다. 일부 사용자는 세션을 유지하기 위해 노트북을 열어둔 채로 자리를 떠났다. 이번 업데이트로 세션은 클라우드에서 실행되고, 기기가 꺼진 상태에서도 예약 작업이 수행된다. 모바일과 웹으로 접근 범위도 확장됐다.
그런데 더 주목할 부분은 Anthropic이 자율성과 통제의 균형을 어떻게 설계했느냐다. 최종 결과물은 사용자 검토와 승인 없이 절대 외부로 발송되지 않는다. "월요일 오전 6시 고객 미팅 준비를 요청하면 클로드가 이메일 스레드와 회의록을 훑어 브리핑 문서를 만들고 후속 이메일 초안까지 작성해두되, 발송은 하지 않는다"—이 설계 원칙이 신뢰의 핵심이다. 프롬프트 인젝션 같은 보안 리스크가 완전히 사라진 건 아니지만, 권한 구조를 반복 승인 방식으로 설계한 것은 에이전트가 자율적으로 움직이면서도 사람이 최종 게이트를 유지하는 구조를 보여준다.
에이전트 성숙도의 진짜 기준
세 가지 소스를 엮으면 하나의 그림이 완성된다. AI 코딩 에이전트가 프로덕션에서 신뢰받으려면, 단순히 코드를 잘 생성하는 것 이상이 필요하다. 첫째, 맥락을 세션 너머로 보존하고 실수에서 학습하는 메모리 시스템. 둘째, 멀티 턴 환경과 엣지 케이스를 포함한 현실적 검증과 관찰 가능성. 셋째, 사람이 자리를 비워도 작업이 이어지되, 결정적 행동에는 반드시 사람의 승인이 붙는 연속성과 통제의 균형.
마크 저커버그가 2026년 7월 "AI 에이전트 개발이 예상보다 느리게 진행되고 있다"고 공개적으로 인정한 것은 기술적 고백이 아니라 현실적 고백이다. 데모와 프로덕션 사이의 거리는 모델 성능의 문제가 아니라 시스템 설계의 문제다. 벤치마크 점수가 아니라 못생긴 입력값에서도 조용히 올바른 결과를 내는 것—그게 신뢰다. 에이전트를 동반자로 만드는 건 결국 그 시스템을 설계하는 개발자의 몫으로 여전히 남아 있다.