2026년 11월 17일 (Tue) 오늘 방문자 4,586

마케팅랩 MARKETINGLAB 온라인 광고대행사 커뮤니티

[실무 가이드] 광고 소재 A/B 테스트 설계, 한 번에 하나만 바꾸는 법

이 글의 요점
소재 테스트는 변수를 하나만 바꿔야 결과의 원인을 말할 수 있습니다.
가설, 성공 지표, 판정 기준은 광고를 켜기 전에 적어 둡니다.
예산이 적어 전환이 모자라면 구매 대신 앞 단계 지표로 판정합니다.

이 글이 필요한 분

메타·네이버 등에서 소재를 처음 여러 개 올려 보는 1인 사업자, 소재 테스트 보고를 맡게 된 대행사 신입 AE를 위한 글입니다. 소재를 어떻게 만드는지보다, 결과를 믿을 수 있게 테스트를 짜는 순서에 집중합니다.

한 번에 하나만 바꾸는 이유

A안과 B안에서 이미지, 문구, 버튼을 모두 바꿨다면 B안이 이겨도 무엇 때문인지 알 수 없습니다. 다음 소재에 가져갈 교훈이 남지 않고, 결과는 우연한 한 번으로 끝납니다. 변수를 하나로 제한하면 차이가 생겼을 때 원인을 그 변수로 좁힐 수 있습니다.

변수를 하나로 줄여도 다음 조건이 다르면 비교가 깨집니다. 대상, 예산, 게재 기간, 게재 위치, 랜딩 페이지입니다. 이 다섯 가지는 두 안이 같아야 합니다.

단계별 설계 방법

  1. 가설과 지표를 문장으로 적습니다. 어디서: 광고 관리자가 아니라 별도의 기록 시트입니다. 기준: 'ㅇㅇ을 △△로 바꾸면 □□ 지표가 오를 것이다' 형태로 변수 1개, 성공 지표 1개를 정하고, 어느 정도 차이면 승자로 볼지도 미리 적습니다.
  2. 바꿀 변수를 하나 고릅니다. 어디서: 소재 요소 중에서 고릅니다. 후보는 첫 문구, 이미지나 영상 첫 장면, 가격·혜택 노출 여부, 버튼 문구입니다. 기준: 지금 성과 병목에 가장 가까운 요소를 고르고, 나머지는 그대로 둡니다. 클릭이 안 나오면 첫 문구와 이미지, 클릭은 나오는데 구매가 없으면 소재보다 랜딩과 오퍼를 먼저 의심합니다.
  3. 테스트 구조를 만듭니다. 어디서: 메타는 광고 관리자의 A/B 테스트(실험) 기능이나 캠페인 생성 시 A/B 테스트 옵션을 씁니다. 기능이 없는 매체는 광고그룹을 복제해 소재만 다르게 둡니다. 기준: 대상, 일 예산, 시작·종료 시각, 게재 위치, 랜딩 URL을 동일하게 맞춥니다. 한 광고그룹에 소재를 나란히 올리면 노출이 한쪽으로 쏠리는 경우가 있다고 현업에서는 봅니다. 공정한 비교가 필요하면 그룹을 나누는 편이 안전합니다.
  4. 기간과 예산을 정합니다. 어디서: 광고그룹 또는 테스트 설정의 일정·예산 항목입니다. 기준: 요일별 편차를 줄이려고 7일 단위로 보는 경우가 많고, 도중에 소재·타깃·예산을 바꾸지 않습니다. 필요한 예산은 아래 계산 예시처럼 역산합니다.
  5. 판정하고 기록합니다. 어디서: 광고 관리자 보고서에서 사전에 정한 지표 하나만 봅니다. 기준: 미리 적은 차이를 넘으면 승자를 반영하고, 못 넘으면 무승부로 기록한 뒤 다른 변수로 넘어갑니다. 결과와 함께 가설이 맞았는지도 남깁니다.

계산 예시(가정값): 안당 일 예산 30,000원, 클릭당 비용 500원, 전환율 2%로 가정합니다. 하루 60클릭, 7일이면 420클릭이고 구매는 안당 약 8건입니다. 8건 대 10건처럼 작은 숫자 차이는 우연으로 생길 수 있어, 이 규모에서는 구매로 승패를 가르기 어렵습니다. 이럴 때는 클릭률이나 랜딩 페이지 조회처럼 더 많이 쌓이는 앞 단계 지표를 성공 지표로 잡습니다.

상황별 판단 기준 표

상황고를 변수성공 지표
노출은 되는데 클릭이 낮음첫 문구, 이미지 첫 장면클릭률
클릭은 되는데 상세 이탈이 많음소재가 약속한 내용과 랜딩의 일치도랜딩 조회, 이탈
클릭 후 구매·문의가 적음혜택·가격 노출, 버튼 문구전환율, 전환당 비용
예산이 적어 전환이 쌓이지 않음변수 1개만, 기간 연장클릭률 등 앞 단계 지표
점검 항목합격 기준
바꾼 변수 수1개
대상·예산·기간·게재 위치·랜딩두 안이 동일
성공 지표와 판정 차이게재 전에 기록됨
테스트 중 수정없음
종료 후 기록가설, 결과, 다음 변수가 남음

바로 쓰는 체크리스트

  • 가설을 한 문장으로 적었는가
  • 바꾸는 변수가 하나뿐인가
  • 성공 지표 하나와 판정 기준을 켜기 전에 정했는가
  • 대상, 예산, 기간, 게재 위치, 랜딩 URL이 두 안에서 같은가
  • 예산으로 판정 지표가 충분히 쌓이는지 역산했는가
  • 테스트 기간 중 수정하지 않기로 팀과 합의했는가
  • 종료 후 승자, 무승부 여부, 다음 테스트 변수를 기록했는가

플랫폼의 메뉴 이름, 기능 위치, 정책은 바뀔 수 있으니 실행 전에 공식 도움말에서 확인하세요. 메타는 비즈니스 고객센터(https://www.facebook.com/business/help)에서 'A/B 테스트'를, 네이버는 네이버애즈(https://ads.naver.com)의 도움말에서 사용 중인 광고 상품의 소재 관리 항목을 찾아보시면 됩니다.

자주 하는 실수

  • 여러 요소를 한꺼번에 바꿉니다. 원인을 알 수 없게 됩니다. 이미지와 문구를 모두 바꾸고 싶다면 테스트를 두 번으로 나눕니다.
  • 결과를 보고 지표를 고릅니다. 불리한 지표는 빼고 유리한 지표만 고르게 됩니다. 성공 지표는 켜기 전에 적습니다.
  • 며칠 보고 중간에 끕니다. 초기 며칠의 숫자는 흔들리기 쉽습니다. 정한 기간까지 유지하고, 중단 기준이 필요하면 사전에 정합니다.
  • 적은 전환 수로 승패를 가릅니다. 앞의 계산 예시처럼 건수가 적으면 우연의 영향이 큽니다. 앞 단계 지표를 쓰거나 기간을 늘립니다.
  • 테스트 중 예산·타깃을 바꿉니다. 두 안의 조건이 달라집니다. 바꿔야 한다면 테스트를 새로 시작합니다.
  • 무승부를 기록하지 않습니다. 차이가 없다는 것도 결과입니다. 같은 변수를 다시 시험하지 않도록 남겨 둡니다.

마케팅랩 에디터가 정리한 글입니다. 플랫폼 정책과 메뉴는 바뀔 수 있으니 실행 전 공식 도움말을 한 번 더 확인해 주세요. 틀린 내용이나 더 좋은 방법이 있으면 댓글로 알려 주세요.

목록
이 게시판의 다른 글
이 글에 댓글을 달거나 직접 물어보시려면 가입하면 무료 도구 18종과 마케팅 단가표도 같이 쓰실 수 있습니다.

댓글 1

카 카페사장님 2일 전
계산 예시 부분이 실제로 제일 도움됐어요, 안당 7일에 전환 8건 나오는 규모면 클릭률로 판정 기준 잡아야 한다는 게 머릿속에 딱 정리됐거든요. 그런데 클릭률을 성공 지표로 쓸 때 판정 차이는 보통 몇 %p 이상으로 보시나요?
카카오톡 상담
평일 10:00 ~ 18:00