별점은 거짓말한다: 470만 리뷰 감정 분석이 폭로한 통계적 진실

샘플 사이즈는 충분한가요? 470만 건이라면 일단 합격

USC(University of Southern California) 연구팀이 arXiv에 공개한 논문 Beyond the Star Rating은 17년치 470만 건의 레스토랑 리뷰를 Aspect-Based Sentiment Analysis(ABSA)로 분석했다. 데이터 분석가 입장에서 첫 번째로 던지는 질문—"샘플 사이즈가 충분한가요?"—에 대한 답은 일단 '예스'다. 통계적 검정력(statistical power) 측면에서 수백만 단위 데이터는 노이즈를 압도하기에 충분하다. 문제는 샘플 크기가 아니라, 그 데이터 안에 어떤 편향(bias)이 숨어 있느냐다.

별점 3점짜리가 실제로는 극찬일 수 있다: ABSA가 필요한 이유

전통적인 감정 분석(Sentiment Analysis)은 리뷰 전체를 하나의 극성(polarity)으로 압축한다. Positive냐 Negative냐. 그런데 현실 리뷰는 그렇게 작동하지 않는다. "파스타는 환상적이었는데 30분 기다렸다"는 문장은 음식에 대해선 Positive, 대기 시간에 대해선 Negative다. 이걸 하나의 별점 3점으로 뭉개버리면 정보 손실이 발생한다.

ABSA는 이 문제를 해결하기 위해 aspect별로 감정을 분리한다. 연구팀은 음식 품질·서비스·분위기·대기 시간·가격·메뉴 다양성 6개 항목을 선정하고, 각각에 독립적인 감정 레이블을 부여했다. 이는 정보 이론적으로도 올바른 접근이다. 단일 스칼라 별점보다 6차원 감정 벡터가 훨씬 높은 정보량을 보유하기 때문이다.

ChatGPT + 전통 ML: 영리한 역할 분담, 그런데 76.6% 정확도는 어디서 나왔나

연구팀의 파이프라인 설계는 비용-성능 트레이드오프 관점에서 흥미롭다. ChatGPT에게 600개 샘플만 넘겨 aspect 범주를 정의하게 하고, 실제 분류 작업은 5,000개 수작업 라벨 데이터로 학습한 전통적 ML 모델에 위임했다. LLM은 Feature Engineering 역할, 전통 ML은 Inference 역할을 맡은 셈이다.

보고된 분류 정확도는 76.6%. 여기서 반드시 물어봐야 할 것이 있다. 이 76.6%는 Accuracy인가, F1-score인가? 클래스 불균형(class imbalance) 상황에서 Accuracy는 의미가 희박하다. 긍정 리뷰가 압도적으로 많은 리뷰 플랫폼 특성상, Precision-Recall 곡선과 ROC-AUC를 함께 보지 않으면 이 수치는 과대평가될 수 있다. 논문 원문을 직접 확인해야 할 지점이다.

핵심 발견: 음식 1.58, 가격은 유의미하지 않다

모델이 추정한 별점 영향력 계수는 명확한 서열을 보여준다.

음식 품질 계수가 서비스의 두 배 이상이라는 점은 직관과 일치한다. 그러나 두 가지 발견은 추가 검토가 필요하다.

첫째, 가격이 유의미하지 않다는 결과. 이건 correlation이지 causation이 아니다. "비싼 식당을 선택한 소비자는 이미 가격을 감수했다"는 선택 편향(selection bias)이 개입되어 있을 가능성이 높다. 가격에 민감한 소비자는 애초에 그 식당에 가지 않았을 테니까.

둘째, 대기 시간이 길수록 별점이 오른다는 역설. 연구팀은 이를 Social Proof 효과로 해석했다. 그럴듯한 설명이지만, 이 역시 confounding variable이 작동할 수 있다. 인기 있는 식당 = 음식이 좋은 식당 = 대기가 긴 식당이라는 연결고리에서, 별점을 올린 진짜 원인이 대기 시간인지, 애초에 음식이 좋아서인지 분리하기 어렵다. Ablation study나 도구변수(Instrumental Variable) 설계 없이는 인과관계 주장은 과하다.

R² 80%의 의미: 설명력은 높지만 나머지 20%가 중요하다

이 모델은 별점 변동의 80% 이상을 설명한다고 보고한다. R² 0.8은 회귀 모델 기준으로 상당히 높은 수치다. 그러나 나머지 20%—모델이 설명하지 못하는 변동—에 무엇이 있는지가 실무적으로 더 중요할 수 있다. 리뷰어의 개인적 기준 차이, 음식 문화권별 기대치 편차, 플랫폼별 사용자 특성, 허위 리뷰(fake review) 포함 여부 등이 그 안에 뭉쳐져 있을 것이다.

지역별·음식 유형별 별점 차이도 마찬가지다. 이탈리아 식당이 별점 프리미엄을 누리고, 뉴저지와 델라웨어가 높은 평균 별점을 기록한다는 발견은 흥미롭지만, 이걸 단순히 "소비자 기대치 차이"로 설명하는 건 피처 중요도를 제대로 분해하지 않은 해석이다. 도시별 경쟁 밀도, 플랫폼 침투율, 리뷰어 구성(여행자 vs 지역 주민 비율) 같은 외부 변수가 교란 요인으로 작용한다.

데이터 드리프트: 17년치 데이터, 분포는 균일한가

470만 건, 17년치라는 스펙에서 ML 엔지니어라면 즉시 데이터 드리프트(data drift) 문제를 떠올려야 한다. 2008년과 2025년의 리뷰 언어는 다르다. "맛집"이라는 개념도, 서비스에 대한 기대치도 변했다. 팬데믹 전후로 배달 경험이 리뷰에 혼입되기 시작했고, 인스타그램 문화의 부상은 분위기에 대한 서술 빈도를 늘렸을 가능성이 높다.

연구팀도 이 한계를 인식했는지, 코로나19 같은 특정 사건이 감정 변화에 미친 영향을 추적하는 후속 연구를 계획 중이라고 밝혔다. 사실 이것이 타임시리즈 ABSA의 핵심 가치다. 단면(cross-sectional) 분석보다 종단(longitudinal) 분석에서 진짜 인사이트가 나온다.

시사점: 별점을 믿지 말고, 어떤 aspect의 별점인지를 물어라

이 연구의 실질적 시사점은 하나다. 단일 별점 숫자는 압축 손실이 너무 크다. 소비자가 정말 알고 싶은 건 "이 식당 전체가 4.2점"이 아니라 "음식은 4.8점인데 서비스는 2.1점"이다. 이미 구글 리뷰나 트립어드바이저 일부에서 항목별 평가를 수집하고 있지만, 리뷰어가 직접 분리해서 입력하는 방식은 완성률이 낮다. ABSA가 자동으로 기존 텍스트 리뷰에서 이 정보를 추출할 수 있다면, UX를 바꾸지 않고도 데이터 품질을 높일 수 있다.

부산시 상수도사업본부가 구축 중인 RAG 기반 AI 에이전트 '상수iN'도 같은 맥락에서 읽힌다. 방대한 내부 문서와 운영 데이터를 연계해 맥락 있는 답변을 도출하는 구조는, 단순 키워드 검색보다 훨씬 정밀한 정보 추출을 가능하게 한다. USC 연구팀이 ChatGPT로 aspect를 정의하고 전통 ML로 분류를 처리한 역할 분담 구조와 개념적으로 유사하다—고비용 LLM은 방향 설정에, 경량 모델은 실제 처리에. 다만 상수iN의 경우, RAG의 검색 품질(retrieval precision)과 생성된 답변의 사실 정확도(factual accuracy)를 어떻게 정량적으로 검증할 것인지가 프로덕션 투입 전 반드시 확인해야 할 지점이다.

전망: ABSA는 리뷰를 넘어 어디까지 갈 수 있나

연구팀이 제시한 다음 목적지는 병원과 호텔이다. 병원 리뷰의 ABSA라면 대기 시간·의사 설명·시설 환경을 분리해서 분석할 수 있다. 의료 서비스의 어떤 측면이 환자 만족도와 재방문율에 가장 강하게 연결되는지—이건 단순한 리뷰 분석을 넘어 헬스케어 정책 설계에 직접 연결된다.

단, 이 프레임워크를 다른 도메인에 적용할 때는 두 가지를 반드시 재검토해야 한다. 첫째, ChatGPT가 600개 샘플로 정의한 aspect가 해당 도메인에서도 유효한가—도메인 전문가 검토 없는 LLM의 aspect 정의는 과신하면 안 된다. 둘째, 5,000개 라벨링 데이터가 새로운 도메인에서도 충분한 학습 데이터인가—도메인 난이도에 따라 훨씬 많은 어노테이션이 필요할 수 있다.

별점 하나에 레스토랑 매출의 5~9%가 걸려 있다면, 그 숫자가 얼마나 많은 정보를 담지 못하고 있는지 이제 데이터는 말해주고 있다. 문제는 이 발견을 플랫폼이 채택하느냐다. 더 정확한 정보는 소비자에게 좋지만, 복잡한 UI는 플랫폼 전환율을 낮출 수 있다. 이 trade-off를 풀 방법이 바로 ABSA의 자동화다—텍스트에서 aspect를 추출해 백엔드에서 계산하고, 프론트엔드에는 여전히 단순하지만 더 정밀한 숫자를 보여주는 것.