이 글의 요점
1. 두 소재의 차이가 하나여야 결과의 원인을 하나로 좁힐 수 있습니다.
2. 시작 전에 가설, 판정 지표, 종료 조건을 적어 두고, 그 기준대로만 승자를 고릅니다.
3. 결과는 기록하고, 이긴 소재를 기준으로 다음 변수 하나를 바꿉니다.

누구에게 필요한 글인가

소재를 여러 개 만들어 돌려 보지만 무엇 때문에 성과가 갈렸는지 설명하지 못하는 1인 사업자, 광고주에게 소재 테스트 결과를 보고해야 하는 대행사 신입 AE를 위한 글입니다.

한 번에 하나만 바꾸는 이유는 단순합니다. 이미지, 문구, 혜택을 동시에 바꾼 두 소재는 성과가 갈려도 어떤 요소가 원인인지 알 수 없습니다. 이긴 소재를 다음 광고에 그대로 쓸 수는 있어도, 왜 이겼는지 모르니 다음 소재에 적용할 근거는 남지 않습니다. 하나만 바꾼 테스트는 결과가 나오면 그 변수에 대한 답이 남습니다.

단계별 설계 순서

1단계. 가설을 한 문장으로 적습니다

어디서: 광고 계정 밖의 테스트 기록 문서(스프레드시트 등)에 적습니다. 기준: 아래 형식을 채울 수 있어야 합니다.

• 형식: ‘A 대신 B로 바꾸면 (지표)가 (오르거나 내릴) 것이다. 이유는 (근거)이다.’
• 예: ‘첫 문구를 기능 설명에서 가격 혜택으로 바꾸면 링크 클릭률이 오를 것이다. 이유는 기존 댓글에 가격 문의가 많기 때문이다.’

2단계. 바꿀 변수를 하나만 고릅니다

어디서: 현재 가장 오래 돌린 소재(기준 소재)를 열어 구성 요소를 나눠 봅니다. 기준: 화면에서 눈에 띄는 큰 요소부터 테스트하는 것이 현업의 일반적인 순서입니다.

1. 첫 문구나 영상 첫 장면(훅)
2. 메인 이미지 또는 영상 구성
3. 혜택·가격 표현
4. 행동 유도 문구와 버튼
5. 색상, 폰트 같은 세부 요소

세부 요소는 큰 요소의 승자가 정해진 뒤에 다루는 편이 낫습니다.

3단계. 나머지는 모두 고정하고 소재를 만듭니다

어디서: 소재 제작 파일과 광고 관리자의 소재 이름 칸입니다. 기준: 바꾼 변수 외에는 글자 하나, 크기 하나도 같아야 합니다. 이름은 ‘날짜_변수_A’, ‘날짜_변수_B’처럼 무엇이 다른지 드러나게 붙입니다. 나중에 보고서에서 소재를 구분하는 기준이 됩니다.

4단계. 같은 조건으로 세팅합니다

어디서: Meta는 광고 관리자의 A/B 테스트(실험) 기능을 먼저 확인합니다. 변수로 크리에이티브를 고르고, 예산·기간·성과 지표를 지정하는 방식입니다. 같은 광고 세트 안에 광고 두 개를 넣는 방식은 노출이 한쪽으로 쏠릴 수 있다고 알려져 있어, 테스트 기능을 쓰면 대상이 겹치지 않게 나뉘는지 도움말에서 확인하는 편이 안전합니다.

네이버 성과형 디스플레이처럼 소재 여러 개를 한 그룹에 등록하는 구조에서는 노출 배분이 소재마다 달라질 수 있습니다. 이 경우 광고 그룹을 나누어 대상·예산·게재 위치를 맞추는 방법을 검토합니다. 기준은 아래 표 2의 점검 항목입니다.

5단계. 시작 전에 판정 기준을 정합니다

• 판정 지표는 하나만 정합니다(클릭률, 클릭당 비용, 전환당 비용 중 택일).
• 최소 기간과 최소 데이터량을 정합니다.
• 종료 조건을 적습니다. 예: ‘7일 경과 및 소재당 클릭 100회 이상이면 종료’.

계산 예시입니다. 일 예산 3만 원, 클릭당 비용 500원, 전환율 2%를 가정합니다. 소재 두 개가 예산을 반씩 쓰면 소재당 하루 약 30클릭, 7일이면 약 210클릭이고 전환은 약 4건입니다. 전환 4건과 6건의 차이는 우연으로도 생길 수 있어 승패를 가리기 어렵습니다. 이런 규모라면 판정 지표를 전환 한 단계 앞의 클릭률이나 클릭당 비용으로 잡고 결론을 ‘방향 확인’ 수준으로 두는 편이 현실적입니다.

6단계. 결과를 기록하고 다음 변수로 넘어갑니다

어디서: 1단계에서 만든 기록 문서입니다. 가설, 바꾼 변수, 기간, 지표 수치, 결론(채택·기각·판단 보류)을 한 줄로 남깁니다. 이긴 소재가 새 기준 소재가 되고, 다음 테스트는 그 소재에서 변수 하나를 바꿉니다.

상황별로 무엇을 고르는지

표 1. 계정 상황별 테스트 설계 기준

표 2. 시작 전 점검 항목과 합격 기준

바로 쓰는 체크리스트

• 가설을 ‘A 대신 B, 지표, 이유’ 형식으로 적었습니다.
• 바꾸는 변수가 하나뿐입니다.
• 소재 이름에 날짜와 변수, 안 구분이 들어 있습니다.
• 대상, 예산, 게재 위치, 입찰 방식이 두 안에서 같습니다.
• 판정 지표를 하나로 정했습니다.
• 종료 조건(기간, 최소 클릭 수나 전환 수)을 적었습니다.
• 테스트 중에는 예산, 대상, 소재를 수정하지 않기로 했습니다.
• 종료 후 결과와 결론을 기록할 문서가 있습니다.

자주 하는 실수

• 이미지와 문구를 같이 바꿉니다. 원인을 가를 수 없게 됩니다. 변수를 쪼개 순서대로 테스트하고, 한 번에 여러 요소를 비교하고 싶다면 안 수를 늘리되 안당 데이터가 부족해지지 않는지 먼저 계산합니다.
• 중간에 예산이나 대상을 고칩니다. 조건이 달라져 앞뒤 데이터를 비교할 수 없습니다. 수정이 필요하면 테스트를 종료하고 새로 시작합니다.
• 며칠 보고 승자를 정합니다. 데이터가 적으면 순위가 뒤집힐 수 있습니다. 5단계에서 적은 종료 조건에 도달하기 전에는 결론을 내리지 않습니다.
• 끝난 뒤에 유리한 지표를 고릅니다. 클릭률로는 졌는데 노출 수가 많았다는 식으로 지표를 바꾸면 테스트가 의미를 잃습니다. 지표는 시작 전에 고정합니다.
• 심사 통과 시점이 다릅니다. 한 소재가 늦게 시작하면 기간과 요일 조건이 달라집니다. 두 소재가 모두 승인된 것을 확인하고 동시에 켭니다.
• 한 번의 결과를 일반 원칙으로 삼습니다. 이번 대상, 이번 시기, 이번 상품에서 나온 결과입니다. 다른 상품에도 적용하려면 다시 테스트합니다.
• 기록을 남기지 않습니다. 담당자가 바뀌면 같은 테스트를 반복하게 됩니다. 기각된 가설도 한 줄로 남깁니다.

플랫폼 메뉴 이름과 테스트 기능의 조건, 정책은 바뀔 수 있으니 세팅 전에 공식 도움말에서 최신 내용을 확인하시기 바랍니다. 경로는 다음과 같습니다. Meta는 Meta 비즈니스 고객센터에서 ‘A/B 테스트’를 검색하고, Google은 Google Ads 고객센터에서 ‘실험’을 검색합니다. 네이버는 네이버 광고 사이트의 고객센터·도움말 메뉴에서 소재 등록과 노출 방식 안내를 확인합니다.

마케팅랩 에디터가 정리한 글입니다. 플랫폼 정책과 메뉴는 바뀔 수 있으니 실행 전 공식 도움말을 한 번 더 확인해 주세요. 틀린 내용이나 더 좋은 방법이 있으면 댓글로 알려 주세요.