지난달에 뼈 맞았던 경험 공유합니다.

식품 브랜드 퍼포먼스 대행 중인데, GA4 기준으로 메타 광고 ROAS가 꾸준히 4.2 나오고 있어서 예산 올려도 되겠다 판단했거든요. 근데 실제 클라이언트 쇼핑몰 주문 DB랑 대조해보니까 전환으로 잡힌 것 중 35%가 중복 집계였어요. GA4 세션 기반 전환이랑 메타 픽셀 전환이 동시에 카운트되는 경우였는데, 저도 당연히 체크해야 했는데 그냥 넘긴 거죠. 실제 ROAS는 2.7이었고 예산 확대하면서 그 차이가 그대로 손실로 이어진 상황이었습니다.

그 이후로 데이터 검증 루틴을 세 단계로 고정했어요.

1. 주문 DB 직접 쿼리 — 매주 월요일, 실제 결제 완료 건수를 클라이언트 측 MySQL에서 직접 뽑아서 기준 수치로 삼습니다. 툴이 보여주는 숫자는 무조건 '참고용'으로 격하.

2. 채널별 중복 필터링 — 메타, GA4, 네이버 성과 데이터를 합칠 때 주문 ID 기준으로 중복 제거. 엑셀 COUNTIF로도 되는데 건수 많으면 파이썬 pandas 쓰는 게 훨씬 빠릅니다. df.drop_duplicates('order_id') 한 줄이면 끝.

3. 리포트 전 5% 샘플 수기 검증 — 전환으로 잡힌 건 중 랜덤 5%는 실제 주문 여부를 하나씩 확인. 귀찮아도 이게 이상값 잡는 제일 확실한 방법이에요.

데이터 많다고 정확한 게 아니라는 거 이번에 제대로 체감했습니다. 툴 숫자 그대로 보고하고 있다면 한 번쯤 원천 데이터랑 대조해보는 거 추천드려요.