AI 검색이 커지는데, 정작 ‘내 사이트가 LLM에 어떻게 노출되는지’는 안 보입니다. 구글 서치콘솔처럼 노출·클릭·색인 피드백 루프가 있는 것도 아니죠. 이 공백은 성장 관점에서 치명적입니다. 계측이 없으면 최적화도 없고, 최적화가 없으면 Organic CAC는 내려갈 수 없습니다.
geeknews가 소개한 Search Engine Land 글은 해법을 단순하게 제시합니다. “화려한 도구보다 로그가 먼저”라는 것. 서버 로그는 모든 요청을 필터 없이 남기기 때문에, AI 크롤러가 실제로 무엇을 읽고(혹은 못 읽고) 있는지 확인할 수 있는 거의 유일한 1st-party 데이터입니다. 특히 공식 대시보드가 빈약한 AI 플랫폼 환경에서, 로그는 ‘관측 가능한 성장 채널’을 만드는 출발점이 됩니다.
핵심은 AI 크롤러를 두 종으로 쪼개 보는 겁니다. GPTBot·ClaudeBot 같은 학습(Training) 크롤러는 산발적으로 훑고 지나가 장기 패턴이 중요하고, ChatGPT-User·PerplexityBot 같은 검색·응답(Retrieval) 크롤러는 소량이지만 “어떤 URL까지 도달했는가”가 곧 답변 반영 가능성의 신호가 됩니다. 같은 ‘AI’라도 최적화 목표 KPI가 달라집니다(학습 크롤러=발견/커버리지, 응답 크롤러=핵심 랜딩 도달률).
여기서 그로스가 볼 포인트는 기술이 아니라 마찰(Friction)입니다. 로그로 403/429, 리다이렉트 체인, JS 내비게이션 의존, 내부링크 빈약 같은 장애물을 잡아내면 “우리 콘텐츠가 존재하지만 AI에게는 보이지 않는” 구간이 드러납니다. 구글봇은 잘 타는데 AI 크롤러가 얕게만 훑는다면, 그 구간이 곧 LLM 유입의 숨은 병목입니다.
실행은 간단한 실험 루프로 설계하면 됩니다. (1) User-Agent로 크롤러 세그먼트 분리 → (2) URL별 크롤 깊이/경로 시각화 → (3) ‘크롤 가능하지만 방문 0회’ 페이지 리스트업 → (4) 내부링크/사이트맵/정적 렌더링/응답코드 개선 → (5) 2~4주 후 재측정. 기사에서 언급된 Screaming Frog Log File Analyzer 같은 도구를 쓰면 이 루프를 빠르게 돌릴 수 있고, Bing 웹마스터의 Copilot 인사이트처럼 일부 플랫폼 신호도 보조 지표로 얹을 수 있습니다(단, 기간 제한이 있어 장기 트렌드는 로그가 본체).
중요한 함정도 있습니다. Cloudflare 같은 CDN/보안 레이어에서 크롤러가 차단되면 원본 서버 로그엔 아예 안 찍힙니다. “로그에 없다=접근이 없다”로 결론 내리면 오진합니다. 그래서 성장팀은 서버 로그만이 아니라 CDN 엣지 로그까지 함께 모아야 하고, 로그 보존도 S3/R2로 장기 적재해야 합니다(짧은 보관 기간은 학습 크롤러 관측에 특히 불리).
이제 두 번째 레버: ‘뉴스 배포/PR’을 LLM 유입의 연료로 보는 관점입니다. velog 글이 말하듯 저비용 뉴스 배포는 고권위 네트워크에 흔적을 남기고, 그 흔적이 오래 살아남는 “영구 아카이브”가 됩니다. 그 자체가 검색용 콘텐츠일 뿐 아니라, LLM이 참고·인용할 수 있는 데이터 레이어가 됩니다. 즉 PR은 단기 클릭보다 “언급(mention) 가능성”을 사는 투자로 재해석됩니다.
그로스 설계는 이렇게 합치면 강해집니다. (A) PR/뉴스 배포로 외부 권위 도메인에 구조화된 사실(제품 카테고리, 경쟁 포지션, 핵심 기능, 고객 사례)을 남기고 → (B) 그 문서가 우리 사이트의 특정 페이지로 정교하게 링크되게 만들고(UTM 포함) → (C) 이후 로그에서 AI 크롤러가 ‘그 랜딩’을 실제로 수집/재방문하는지 추적합니다. 여기서 KPI는 단순 트래픽이 아니라 AI 크롤러 도달률, 크롤 깊이, 응답코드 안정성, 재크롤 주기 같은 ‘채널 건강도’입니다. 이 건강도가 올라가야 언급 기반 유입이 장기적으로 복리로 쌓입니다.
시사점은 명확합니다. Organic의 정의가 바뀌고 있습니다. 이제 “구글에서 순위 올리기”만으로는 부족하고, “AI가 읽을 수 있는 구조로 만들고, AI가 읽는 경로에 우리를 배치하는 것”이 새 상단 퍼널입니다. 그리고 그 측정은 3rd-party 툴이 아니라 우리가 소유한 로그에서 시작해야 CAC를 통제할 수 있습니다.
전망: AI 검색이 본격적으로 트래픽 흐름을 바꾸는 시점엔, 로그를 쌓아둔 팀과 아닌 팀의 격차가 데이터 자산에서 벌어질 겁니다(geeknews 인용 기사도 ‘지금 측정 시작한 팀이 유리’하다고 봅니다). 다음 분기 할 일은 단순합니다. ① 서버+CDN 로그 파이프라인 구축(장기 보존) ② AI 크롤러 세그먼트 대시보드 ③ PR 배포를 ‘LLM 인용 데이터’로 보는 콘텐츠 템플릿화 ④ 개선→재측정 실험 루프 고정. 이 네 가지를 잠그면, LLM 유입은 운이 아니라 운영이 됩니다.