결론부터 말하면, 데이터 분석에서 가장 많이 날린 건 '도구 비용'이 아니라 '잘못된 지표를 맞다고 믿은 시간'이었습니다. 어떤 숫자를 보느냐보다, 그 숫자로 뭘 결정하느냐가 문제였는데 그걸 알기까지 꽤 오래 걸렸습니다.

---

■ 세션 수를 성과 지표로 봤던 구간

직원 3명짜리 소형 스킨케어 브랜드를 맡았을 때 얘기입니다. 초반에 GA4 붙여놓고 매일 확인하던 게 세션 수였습니다. 세션이 오르면 잘 되는 거고, 떨어지면 뭔가 문제가 생긴 거라고 판단했습니다. 당시엔 트래픽이 많으면 그중 일부는 살 거라고 막연히 생각했던 것 같습니다.

그렇게 세 달을 보다가 이상한 게 보였습니다. 세션은 꾸준히 올랐는데 매출은 거의 그대로였습니다. 그때 처음으로 유입 소스별로 끊어서 봤더니, 세션 증가분의 절반 이상이 평균 체류시간 10초 미만짜리 유입이었습니다. 메타 광고에서 넘어온 트래픽 중 특정 소재에서 온 사람들이 거의 다 튕기고 있었는데, 세션 총합만 보니까 그게 안 보였던 겁니다.

그 이후로 세션은 아예 안 봅니다. 대신 소스별 세션에서 장바구니 추가율, 그리고 결제 완료까지 끊어서 봅니다. 도구는 GA4 탐색 보고서로 충분했고, 추가 비용은 없었습니다.

---

■ 광고 대시보드 숫자만 믿었던 구간

메타 광고 집행할 때 초반엔 광고 관리자에서 보이는 ROAS만 봤습니다. 3.2 나오면 '잘 되고 있다'고 판단하고 예산 올리고, 2 아래로 내려오면 소재 바꾸고. 그 판단 자체가 틀렸다는 걸 한참 뒤에 알았습니다.

문제는 메타가 보여주는 전환 수치에 뷰-쓰루 전환이 섞여 있었다는 겁니다. 광고를 '본' 사람이 나중에 직접 검색해서 들어와 구매해도 메타 전환으로 잡히는 구조인데, 기본 설정이 1일 클릭 + 1일 뷰로 되어 있었습니다. GA4에서 실제 유입 소스 기준으로 구매 수를 비교해보니까 메타 기여가 대시보드 대비 30% 정도 낮게 나왔습니다. 그러니까 ROAS 3.2가 실제로는 2점대였던 셈입니다.

이후엔 광고 관리자 수치와 GA4 수치를 같이 놓고 봅니다. 둘이 크게 벌어지는 시기에는 예산 조정을 보류합니다. 어떤 수치가 더 맞는지는 솔직히 아직도 딱 잘라 말하기 어렵습니다. 다만 한쪽만 보는 건 분명히 위험합니다.

---

■ 코호트 분석 붙였다가 오히려 헷갈렸던 구간

어느 시점에 '재구매율을 제대로 보자'는 생각으로 Amplitude 무료 플랜을 붙였습니다. 코호트별로 리텐션 그래프도 뽑고, 첫 구매 후 30일 이내 재구매율도 보기 시작했습니다. 방향은 맞았는데 문제가 생겼습니다.

데이터가 쌓이는 속도에 비해 우리가 내릴 수 있는 액션이 없었습니다. 월 신규 구매자가 100명이 안 되는 규모에서 코호트를 나누면 각 그룹이 너무 작아서 숫자에 의미를 부여하기가 애매했습니다. 어떤 달은 재구매율이 올랐는데 그게 특정 할인 이벤트 때문인지, 소재가 바뀌어서인지, 그냥 계절 영향인지 구분이 안 됐습니다. 결국 Amplitude는 3개월 만에 안 씁니다.

그 규모에서 재구매 데이터는 그냥 스프레드시트에 주문 데이터 받아서 직접 피벗 돌리는 게 훨씬 빠르고 판단하기도 쉬웠습니다. 도구가 화려할수록 좋은 게 아니라는 걸 그때 배웠습니다.

---

■ 이건 안 통했습니다

어느 시점에 '데이터 기반 의사결정'을 제대로 해보겠다고 Looker Studio로 대시보드를 직접 만든 적 있습니다. GA4, 메타, 네이버 검색광고 데이터를 한 화면에 다 모아서 보면 판단이 빠를 거라고 생각했습니다. 만드는 데 이틀쯤 걸렸고, 처음 이틀은 신기해서 매일 봤습니다.

그런데 한 달 지나니까 거의 안 보게 됐습니다. 이유가 뭔가 생각해보니, 대시보드가 현황을 보여주는 데서 끝나고 '그래서 뭘 바꿔야 하는지'로 이어지지 않았습니다. 숫자가 모여 있어도 해석의 기준이 없으면 보는 사람이 결국 느낌으로 판단하게 됩니다. 화면만 예뻤고 실제 의사결정엔 별로 안 쓰였습니다. 지금은 그냥 일주일에 한 번 GA4 두 개 화면이랑 광고 관리자 비교하는 게 전부입니다.

---

데이터는 보는 것보다 무엇을 결정하기 위해 보는지를 먼저 정하는 게 순서입니다.