근거는 있나요? — 화려한 숫자 뒤의 첫 번째 질문
멀티모달 AI 논문을 열면 가장 먼저 눈에 들어오는 것은 굵은 글씨의 SOTA 숫자입니다. LLaVA는 ScienceQA에서 92.53% 정확도를 기록해 "새로운 SOTA"를 선언했고, 의료 도메인에 특화된 LLaVA-Med는 VQA-RAD·PathVQA의 폐쇄형 질문에서 "기존 지도학습 SoTA를 능가"한다고 보고합니다(velog 논문 정리 시리즈 참조). 한편 천문 이미지 이상 탐지 파이프라인 AstroLens는 3일간 무인 운영 끝에 YOLOv8 mAP50이 51.5%에서 99.5%로 뛰었다고 발표했습니다(dev.to). 세 프로젝트 모두 인상적인 수치를 제시하지만, 데이터 분석가의 습관대로 묻겠습니다: 샘플 사이즈는 충분한가요? 베이스라인 대비 실질 개선폭은 얼마인가요? 그리고 ablation study는 어디 있나요?
맥락 해석 ①: LLaVA 계열 — 앙상블이 만든 SOTA의 함정
LLaVA의 92.53%는 단독 모델 성능이 아닙니다. 논문 실험 섹션을 자세히 보면, GPT-4를 '판사(judge)'로 세워 LLaVA와 GPT-4의 답변이 다를 때 GPT-4가 최종 결정을 내리는 앙상블 방식에서 달성된 수치입니다. 즉, GPT-4의 추론 능력이 상당 부분 점수를 끌어올린 것이고, LLaVA 자체의 기여분을 분리한 ablation이 명확히 제시되지 않습니다. GPT-4 대비 상대적 점수 85.1%라는 지표 역시, 30개 이미지 × 3가지 질문 = 90개 샘플로 구성된 LLaVA-Bench(COCO)에서 나온 결과입니다. n=90이면 95% 신뢰구간 폭이 ±10%p를 넘길 수 있어, 통계적 유의성을 주장하기엔 빈약합니다. 이건 correlation이지, LLaVA가 GPT-4급이라는 causation이 아닙니다.
LLaVA-Med는 한 걸음 더 나아가 커리큘럼 학습 2단계 구조를 제시하고, 스테이지별 성능 변화를 일부 보여줍니다. 10K→60K instruction-following 데이터 증가에 따른 성능 향상 추이, 스테이지 1만으로는 '다양한 지시를 따르는 능력을 잃는다'는 관찰 등이 ablation의 역할을 부분적으로 수행합니다. 그러나 개방형 질문에서 기존 지도학습 대비 성능이 제한적이라고 논문 스스로 인정하면서도, 타이틀에서는 'SoTA 능가'를 강조합니다. 폐쇄형 정확도와 개방형 재현율(Recall)이라는 서로 다른 평가 지표를 하나의 'SoTA' 라벨로 묶는 것은 독자에게 과대 인상을 줄 수 있습니다. Precision-Recall 트레이드오프를 모달리티별로 분리해 보여줬다면 훨씬 설득력 있었을 것입니다.
맥락 해석 ②: AstroLens — 프로덕션 자율 운영의 매력적 약속과 검증 공백
AstroLens의 mAP 51.5%→99.5% 향상은 극적입니다. 그런데 실제 운영 환경에서도 이 성능이 나올까요? 핵심 메커니즘을 뜯어보면, OOD 앙상블이 높은 신뢰도로 분류한 후보를 SIMBAD/NED 카탈로그와 교차 검증해 pseudo-label을 만들고, 이를 YOLO 재학습에 사용합니다. 이 파이프라인은 영리하지만, 카탈로그에 이미 등록된 천체만 검증 가능하다는 구조적 편향이 존재합니다. 진짜 미지의 이상 천체(카탈로그에 없는 객체)를 pseudo-label로 맞추는 것은 원리상 불가능하며, 높은 mAP는 '이미 알려진 유형'에 대한 성능일 가능성이 큽니다.
또한 3일간 20,997장 처리·140회 자기 수정이라는 수치는 인상적이지만, 롤백이 실제로 발생한 횟수, 임계값 decay의 KL-divergence 기준값, 소스 리밸런싱의 rolling window 크기 같은 하이퍼파라미터 민감도 분석이 공개되지 않았습니다. threshold_adjustment = base_threshold * (1 - decay_rate * log(1 + images_processed))라는 수식은 직관적이지만, decay_rate를 0.01에서 0.05로 바꿨을 때 False Positive Rate이 어떻게 변하는지 보여주는 ablation이 없으면, 이 파이프라인의 재현 가능성(reproducibility)을 제3자가 검증하기 어렵습니다.
시사점: SOTA 주장을 읽는 데이터 분석가의 체크리스트
세 소스를 관통하는 패턴은 동일합니다. "성능 숫자는 눈에 띄게, 실험 조건은 각주에." 이를 걸러내기 위해 제가 늘 적용하는 다섯 가지 질문을 공유합니다.
- 샘플 사이즈와 신뢰구간 — n=90으로 SOTA를 주장할 수 있는가?
- 베이스라인 분리 — 앙상블 효과를 제거한 단독 모델 성능은?
- 평가 지표의 일관성 — 폐쇄형 정확도와 개방형 재현율을 같은 'SoTA'로 묶고 있지 않은가?
- 데이터 편향 — pseudo-label이 기존 카탈로그에 의존하면, 알려진 분포 안에서만 성능이 높은 것 아닌가?
- 하이퍼파라미터 민감도 — 핵심 설정값 하나를 바꿨을 때 결과가 뒤집히지 않는가?
전망: '검증 가능한 SOTA'만 살아남는 시대
Lazarus Prometheus 프로젝트(dev.to)가 제안하듯, PoC + baseline + 메트릭 delta가 증명되지 않으면 발표하지 않는다는 gating 원칙이 점차 커뮤니티 표준으로 올라오고 있습니다. 실제로 NeurIPS·ICML 같은 학회의 reproducibility checklist가 해마다 길어지고 있고, Hugging Face의 Open LLM Leaderboard도 재현 스크립트 공개를 사실상 의무화하고 있습니다.
멀티모달 AI는 텍스트·이미지·의료·천문 등 도메인을 빠르게 확장 중이며, 그만큼 '숫자의 화려함'이 '검증의 깊이'를 앞지르기 쉬운 구간입니다. pandas DataFrame 하나 열어서 confidence interval을 직접 찍어보는 수고를 아끼지 마세요. SOTA는 재현될 때만 SOTA입니다.