이 글의 요점
1. 두 가지 이상을 동시에 바꾸면 결과가 나와도 무엇이 원인인지 알 수 없습니다.
2. 가설, 변수 하나, 성공 지표, 종료 기준을 테스트 시작 전에 적어 둡니다.
3. 예산·기간·타겟은 같게 두고, 끝난 뒤에는 결과와 배운 점을 기록합니다.
이런 분께 필요합니다. 소재를 여러 개 만들어 돌려 보지만 왜 이겼는지 설명하지 못하는 1인 사업자, 대행사 신입 AE, 인하우스 퍼포먼스 담당자입니다.
한 번에 하나만 바꾸는 이유
A안과 B안의 이미지, 문구, 버튼 문구가 모두 다르다면 B안이 이겨도 어느 요소가 효과를 냈는지 분리할 수 없습니다. 다음 소재를 만들 때 재사용할 근거가 남지 않습니다. 변수를 하나로 제한하면 결과 차이를 그 변수의 영향으로 해석할 수 있고, 테스트가 쌓일수록 우리 상품에 맞는 규칙이 됩니다.
다만 이것은 해석을 위한 원칙입니다. 노출량이 매우 적어 어차피 결론이 나지 않는 계정이라면 테스트 횟수보다 먼저 상품과 오퍼를 점검하는 편이 낫습니다.
1단계: 가설과 성공 지표 정하기
무엇을 아래 형식으로 한 문장을 적습니다. "첫 문구를 혜택 중심에서 문제 제시로 바꾸면 클릭률이 오를 것이다."
어디서 광고 관리자가 아니라 팀 공유 시트나 노션 같은 기록 문서에 적습니다. 플랫폼에는 가설을 남길 자리가 마땅치 않습니다.
어떤 기준으로 성공 지표는 하나만 고르고, 시작 전에 확정합니다. 노출 단계의 문제라면 클릭률(CTR), 클릭 후 행동의 문제라면 전환율(CVR)이나 전환당 비용(CPA)을 봅니다. 계산법은 이미 올라온 ROAS·CPA·CVR 가이드를 참고하십시오.
2단계: 바꿀 변수 하나 고르기
가설에서 의심하는 지점이 곧 변수입니다. 아래 표는 상황별로 먼저 테스트할 변수를 고르는 기준입니다.
| 상황 | 먼저 바꿀 변수 | 같게 둘 것 |
|---|---|---|
| 노출은 되는데 클릭이 적음 | 첫 이미지 또는 영상 첫 장면 | 문구, 랜딩, 타겟, 예산 |
| 클릭은 되는데 문의·구매가 적음 | 문구의 혜택 제시 방식 | 이미지, 랜딩, 타겟, 예산 |
| 클릭도 전환도 어중간함 | 행동 유도 문구(CTA) | 이미지, 본문, 랜딩 |
| 소재 피로가 의심됨 | 같은 메시지의 다른 표현 방식 | 오퍼, 타겟, 랜딩 |
한 번에 하나라는 말은 "이미지 한 장"이 아니라 "가설 하나"를 뜻합니다. 예를 들어 인물 사진 대 제품 사진을 비교한다면 사진 안의 배경 색이 같이 달라지는 것은 허용하되, 문구는 동일해야 합니다.
3단계: 버전 제작과 플랫폼 세팅
무엇을 같은 규격으로 A안(기존)과 B안(변경)을 만들고, 파일명에 변수를 적습니다. 예: 0612_이미지_인물 / 0612_이미지_제품.
어디서 메타는 광고 관리자에서 캠페인을 만들 때 A/B 테스트를 켜거나, 기존 캠페인에서 A/B 테스트 만들기를 선택하는 방식이 있습니다. 구글 광고는 왼쪽 메뉴의 실험 항목에서 만듭니다. 화면 구성은 계정과 시기에 따라 다를 수 있습니다.
어떤 기준으로 플랫폼의 테스트 기능을 쓰면 타겟이 겹치지 않게 나뉘도록 설계되어 있습니다. 반면 한 광고 세트 안에 광고 두 개를 넣는 방식은 노출이 한쪽으로 쏠릴 수 있다고 알려져 있어, 동등 비교가 목적이라면 권하지 않습니다. 이는 공식 보증이 아니라 현업에서의 일반적인 시각입니다.
4단계: 기간과 종료 기준을 먼저 정하기
아래 표는 시작 전에 점검할 항목과 합격 기준입니다. 수치는 예시이며 계정 규모에 맞게 조정하십시오.
| 점검 항목 | 합격 기준 |
|---|---|
| 변경한 변수 수 | 1개 |
| 버전별 예산 | 동일 금액, 동일 일정 |
| 타겟·게재 위치 | 동일 설정 |
| 성공 지표 | 시작 전 1개로 확정 |
| 최소 기간 | 요일 영향을 보도록 7일 이상(예시) |
| 최소 표본 | 버전당 전환 30건 같은 최소선을 사전 합의(가정값) |
| 중간 수정 | 소재·예산·타겟 변경 금지 |
계산 예시 클릭 후 전환율을 2%로 가정하면, 버전당 전환 30건을 얻으려면 클릭이 약 1,500회 필요합니다(30 ÷ 0.02). 하루 클릭이 100회라면 버전당 약 15일입니다. 이 계산으로 7일 안에 판정이 어렵다고 나오면, 지표를 클릭률로 바꾸거나 기간을 늘리는 것을 시작 전에 결정합니다.
5단계: 판독하고 기록하기
종료 기준에 도달하면 사전에 정한 지표 하나로 비교합니다. 차이가 작거나 표본이 기준에 못 미치면 "승자 없음"으로 기록해도 됩니다. 이것도 쓸모 있는 결과입니다. 승자가 나오면 그 안을 기준안으로 삼고, 다음 가설로 넘어갑니다.
기록 시트에는 날짜, 가설, 변경 변수, 버전별 지표 값, 결론, 다음 액션을 한 줄로 남깁니다. 이 시트가 다음 소재 기획 회의의 근거 자료가 됩니다.
바로 쓰는 체크리스트
- 가설을 한 문장으로 적었다
- 바꾸는 변수가 하나뿐이다
- 성공 지표를 시작 전에 하나로 정했다
- A안과 B안의 예산, 일정, 타겟, 게재 위치가 같다
- 종료 기간과 최소 표본 기준을 적어 두었다
- 파일명과 광고명에 변수가 드러난다
- 테스트 중 소재·예산·타겟을 수정하지 않는다
- 종료 후 결과를 기록 시트에 남겼다
자주 하는 실수
- 이미지와 문구를 동시에 바꿈. 원인을 분리할 수 없습니다. 이미지 테스트를 먼저 끝내고, 승자 이미지로 문구를 테스트하십시오.
- 며칠 만에 끊고 승자를 선언함. 하루 이틀의 차이는 요일이나 우연일 수 있습니다. 시작 전에 정한 기간과 표본이 채워질 때까지 기다립니다.
- 결과를 보고 지표를 바꿈. 클릭률이 졌는데 전환이 높다는 이유로 기준을 바꾸면 어떤 결과든 해석할 수 있게 됩니다. 지표는 사전에 고정합니다.
- 예산을 한쪽에 몰아줌. 노출 기회가 다르면 비교가 성립하지 않습니다. 동일 예산으로 시작합니다.
- 한 번의 결과를 법칙으로 일반화함. 같은 가설을 다른 상품이나 시즌에서 한 번 더 확인한 뒤 가이드에 반영합니다.
- 랜딩 페이지를 같이 수정함. 소재 테스트 중 랜딩이 바뀌면 전환율 비교가 무의미해집니다. 랜딩 변경은 테스트 사이에 합니다.
플랫폼의 메뉴 이름과 테스트 기능, 정책은 바뀔 수 있으므로 실행 전에 공식 도움말에서 확인하십시오. 메타는 Meta 비즈니스 고객센터에서 "A/B 테스트"를, 구글은 Google Ads 고객센터에서 "실험"을 검색하면 됩니다.
마케팅랩 에디터가 정리한 글입니다. 플랫폼 정책과 메뉴는 바뀔 수 있으니 실행 전 공식 도움말을 한 번 더 확인해 주세요. 틀린 내용이나 더 좋은 방법이 있으면 댓글로 알려 주세요.


댓글 0
첫 댓글을 작성해보세요.
댓글을 작성하려면 로그인해주세요.