근거는 있나요? 학습 데이터의 출처를 묻다
머신러닝 모델의 성능은 결국 학습 데이터의 품질로 귀결됩니다. F1-score가 아무리 높아도, ROC-AUC가 아무리 인상적이어도, 그 숫자를 만들어낸 데이터의 출처가 불법이거나 동의 없이 수집된 것이라면—그 모델은 기술적으로는 작동하더라도 법적·윤리적으로는 이미 오염된 상태입니다. 최근 잇따라 터진 세 가지 사례는 이 불편한 진실을 수치와 함께 정면으로 드러내고 있습니다.
700만 권의 해적판: Anthropic의 '데이터 세탁' 문제
문화체육관광부와 한국저작권위원회가 2025년 2월 발간한 《생성형 AI 학습저작물 공정이용 가이드》에 따르면, Anthropic은 2024년 저작권 소송에서 약 700만 권의 해적판 도서를 다운로드·저장한 사실이 확인되었습니다. Anthropic은 지난 9월 저작권자들과 합의하며 15억 달러(약 2조 원) 를 지불하고 해당 데이터를 폐기하기로 했습니다.
여기서 데이터 분석가로서 핵심 질문을 던져야 합니다. "이 데이터로 학습된 Claude의 성능은 얼마나 해당 불법 데이터에 의존하고 있었는가?" 즉, 불법 데이터를 제거한 이후의 Ablation study 결과는 공개된 바 없습니다. 불법 출처 데이터가 전체 학습 코퍼스에서 차지하는 비율, 그리고 그것이 모델의 언어 이해·생성 능력에 미친 기여도는 여전히 블랙박스입니다. 피해 아티스트의 증언처럼, 불법 이미지 플랫폼(Pixiv, Pinterest 등)을 크롤링한 데이터가 AI 일러스트 성능을 끌어올리는 동시에 해당 산업 종사자들을 생태계 붕괴로 몰아넣는 구조—이건 correlation이 아니라 causation입니다.
메타 스마트 안경: 동의 없는 데이터 수집의 파이프라인
메타의 Ray-Ban 스마트 안경은 AI 혁신의 아이콘처럼 홍보되지만, 실제 데이터 흐름은 전혀 다른 이야기를 합니다. 기자단이 네트워크 트래픽을 분석한 결과, AI 기능 사용 시 영상·음성 데이터가 스웨덴 룰레오와 덴마크의 Meta 서버로 자동 전송되는 것이 확인되었습니다. 스웨덴 10개 매장 직원 대부분은 이 사실을 알지 못했고, 일부는 "모든 데이터가 앱에만 저장된다"고 잘못된 설명을 했습니다.
더 심각한 문제는 라벨링 파이프라인의 하류(downstream)에 있습니다. 케냐 나이로비의 하청업체 Sama 소속 노동자들은 NDA 서약 하에 수집된 영상을 분류·주석 처리하는데, 그 영상에는 화장실 장면, 성행위, 나체, 신용카드 정보까지 포함된 것으로 증언되었습니다. 데이터 품질 관점에서 보면 이건 단순한 라벨링 노이즈가 아닙니다. 민감 데이터(Sensitive Data)가 라벨링 파이프라인에 비필터링 상태로 유입되고 있다는 뜻이며, 이는 Privacy by Design 원칙의 완전한 부재를 의미합니다. 오스트리아 NOYB의 법률 전문가와 스웨덴 개인정보보호청(IMY)은 명시적 동의 없는 AI 학습 활용이 GDPR의 투명성·동의 요건 위반에 해당할 가능성을 지적했습니다. 케냐는 아직 EU의 GDPR 적정성 결정 대상국이 아니라는 점도 법적 공백을 키웁니다.
음성 바이오마커 XGBoost: 기술은 있는데 동의는 어디에?
한편 음성 데이터를 활용한 헬스케어 ML이라는 다른 각도의 사례도 있습니다. Parselmouth와 Librosa를 이용해 Jitter(주파수 변동), Shimmer(진폭 변동), HNR(음성 대 잡음 비율) 등 음향 피처를 추출하고 XGBoost로 스트레스·불안 수준을 분류하는 파이프라인은 기술적으로는 흥미롭습니다.
하지만 데이터 분석가의 눈으로 보면 이 모델에는 즉시 제기해야 할 질문들이 산적합니다. 샘플 사이즈는 충분한가요? 공개된 코드에는 학습 데이터의 규모, 클래스 분포(stress_level 0/1/2 비율), 베이스라인 대비 성능 개선치가 전혀 명시되어 있지 않습니다. classification_report 출력은 있지만, 어떤 Precision/Recall 수치가 나왔는지 공개되지 않습니다. 무엇보다 이 모델은 해석 가능한가요? 음성 피처와 스트레스 레이블 간의 관계가 통계적으로 유의미하게 검증되었는지, 아니면 단순히 학습 세트에 오버피팅된 것인지 알 수 없습니다. 실제 운영 환경(배경 소음, 마이크 품질, 인구통계 다양성)에서 이 성능이 재현될 수 있을지는 더욱 불투명합니다. 음성 데이터가 의료 진단에 가까운 목적으로 수집될 경우, 피처 추출 단계에서부터 IRB 승인과 명시적 동의가 필요합니다.
시사점: 데이터 품질은 정확도가 아니라 윤리부터 시작된다
세 사례를 관통하는 공통 패턴이 있습니다. 데이터 수집 시점의 윤리 공백이 모델 전체 생애주기로 전파된다는 것입니다. 불법 도서 700만 권은 학습 완료 후 폐기되었지만, 그 데이터로 학습된 가중치는 이미 모델 안에 녹아 있습니다. 동의 없이 수집된 생활 영상은 케냐 노동자의 트라우마로 이어지고, 음성 데이터는 수집 목적의 모호성 때문에 의료용과 상업용 경계가 흐릿해집니다.
MLOps 파이프라인에서 데이터 드리프트(Data Drift)를 모니터링하듯, 데이터 출처의 적법성 드리프트도 지속적으로 감사해야 합니다. Feature importance를 분석하듯, 어떤 데이터 소스가 모델 성능에 얼마나 기여하는지를 출처별로 추적하는 Data Lineage 체계가 필수입니다. 이건 규제 대응의 문제가 아닙니다. 프로덕션 모델의 장기 신뢰성을 위한 인프라 문제입니다.
전망: '어떻게 학습했는가'가 다음 경쟁 우위가 된다
Anthropic의 사례는 윤리적 레드라인이 비즈니스 리스크로 직결되는 방식을 보여줍니다. 자율무기·국내 감시 금지 조항을 계약에 포함하려 했던 Anthropic은 미국 정부 전 부처에서 사용 금지 처분을 받았고, 반대로 OpenAI는 동일한 안전 원칙을 계약서에 명문화하면서 국방부 계약을 따냈습니다. 기업 가치 3800억 달러의 Anthropic 입장에서 2억 달러 계약 규모 자체는 크지 않지만, 이 갈등이 IPO 투자자 신뢰와 비정부 라이선스 계약에 미칠 파급 효과는 수치화하기 어렵습니다.
결국 다음 ML 모델의 경쟁력은 단순히 더 높은 벤치마크 점수가 아니라, '우리는 이 데이터를 어떻게, 누구의 동의 하에 수집했는가'를 투명하게 증명할 수 있는가에서 갈릴 것입니다. 재현 가능성(Reproducibility)이 연구 신뢰성의 기준이듯, 데이터 출처의 검증 가능성(Verifiability)이 프로덕션 AI의 신뢰성 기준이 되는 시대가 오고 있습니다. 베이스라인 대비 성능 향상을 묻기 전에, 먼저 물어야 할 질문은 이겁니다. "이 데이터, 써도 되는 거 맞나요?"