2026년 11월 22일 (Sun) 오늘 방문자 8,383

마케팅랩 MARKETINGLAB 온라인 광고대행사 커뮤니티

[실무 가이드] 광고 소재 A/B 테스트 설계, 한 번에 하나만 바꾸는 방법

이 글의 요점
1. 두 가지 이상을 동시에 바꾸면 결과가 나와도 무엇이 원인인지 알 수 없습니다.
2. 가설, 변수 하나, 성공 지표, 종료 기준을 테스트 시작 전에 적어 둡니다.
3. 예산·기간·타겟은 같게 두고, 끝난 뒤에는 결과와 배운 점을 기록합니다.

이런 분께 필요합니다. 소재를 여러 개 만들어 돌려 보지만 왜 이겼는지 설명하지 못하는 1인 사업자, 대행사 신입 AE, 인하우스 퍼포먼스 담당자입니다.

한 번에 하나만 바꾸는 이유

A안과 B안의 이미지, 문구, 버튼 문구가 모두 다르다면 B안이 이겨도 어느 요소가 효과를 냈는지 분리할 수 없습니다. 다음 소재를 만들 때 재사용할 근거가 남지 않습니다. 변수를 하나로 제한하면 결과 차이를 그 변수의 영향으로 해석할 수 있고, 테스트가 쌓일수록 우리 상품에 맞는 규칙이 됩니다.

다만 이것은 해석을 위한 원칙입니다. 노출량이 매우 적어 어차피 결론이 나지 않는 계정이라면 테스트 횟수보다 먼저 상품과 오퍼를 점검하는 편이 낫습니다.

1단계: 가설과 성공 지표 정하기

무엇을 아래 형식으로 한 문장을 적습니다. "첫 문구를 혜택 중심에서 문제 제시로 바꾸면 클릭률이 오를 것이다."

어디서 광고 관리자가 아니라 팀 공유 시트나 노션 같은 기록 문서에 적습니다. 플랫폼에는 가설을 남길 자리가 마땅치 않습니다.

어떤 기준으로 성공 지표는 하나만 고르고, 시작 전에 확정합니다. 노출 단계의 문제라면 클릭률(CTR), 클릭 후 행동의 문제라면 전환율(CVR)이나 전환당 비용(CPA)을 봅니다. 계산법은 이미 올라온 ROAS·CPA·CVR 가이드를 참고하십시오.

2단계: 바꿀 변수 하나 고르기

가설에서 의심하는 지점이 곧 변수입니다. 아래 표는 상황별로 먼저 테스트할 변수를 고르는 기준입니다.

상황먼저 바꿀 변수같게 둘 것
노출은 되는데 클릭이 적음첫 이미지 또는 영상 첫 장면문구, 랜딩, 타겟, 예산
클릭은 되는데 문의·구매가 적음문구의 혜택 제시 방식이미지, 랜딩, 타겟, 예산
클릭도 전환도 어중간함행동 유도 문구(CTA)이미지, 본문, 랜딩
소재 피로가 의심됨같은 메시지의 다른 표현 방식오퍼, 타겟, 랜딩

한 번에 하나라는 말은 "이미지 한 장"이 아니라 "가설 하나"를 뜻합니다. 예를 들어 인물 사진 대 제품 사진을 비교한다면 사진 안의 배경 색이 같이 달라지는 것은 허용하되, 문구는 동일해야 합니다.

3단계: 버전 제작과 플랫폼 세팅

무엇을 같은 규격으로 A안(기존)과 B안(변경)을 만들고, 파일명에 변수를 적습니다. 예: 0612_이미지_인물 / 0612_이미지_제품.

어디서 메타는 광고 관리자에서 캠페인을 만들 때 A/B 테스트를 켜거나, 기존 캠페인에서 A/B 테스트 만들기를 선택하는 방식이 있습니다. 구글 광고는 왼쪽 메뉴의 실험 항목에서 만듭니다. 화면 구성은 계정과 시기에 따라 다를 수 있습니다.

어떤 기준으로 플랫폼의 테스트 기능을 쓰면 타겟이 겹치지 않게 나뉘도록 설계되어 있습니다. 반면 한 광고 세트 안에 광고 두 개를 넣는 방식은 노출이 한쪽으로 쏠릴 수 있다고 알려져 있어, 동등 비교가 목적이라면 권하지 않습니다. 이는 공식 보증이 아니라 현업에서의 일반적인 시각입니다.

4단계: 기간과 종료 기준을 먼저 정하기

아래 표는 시작 전에 점검할 항목과 합격 기준입니다. 수치는 예시이며 계정 규모에 맞게 조정하십시오.

점검 항목합격 기준
변경한 변수 수1개
버전별 예산동일 금액, 동일 일정
타겟·게재 위치동일 설정
성공 지표시작 전 1개로 확정
최소 기간요일 영향을 보도록 7일 이상(예시)
최소 표본버전당 전환 30건 같은 최소선을 사전 합의(가정값)
중간 수정소재·예산·타겟 변경 금지

계산 예시 클릭 후 전환율을 2%로 가정하면, 버전당 전환 30건을 얻으려면 클릭이 약 1,500회 필요합니다(30 ÷ 0.02). 하루 클릭이 100회라면 버전당 약 15일입니다. 이 계산으로 7일 안에 판정이 어렵다고 나오면, 지표를 클릭률로 바꾸거나 기간을 늘리는 것을 시작 전에 결정합니다.

5단계: 판독하고 기록하기

종료 기준에 도달하면 사전에 정한 지표 하나로 비교합니다. 차이가 작거나 표본이 기준에 못 미치면 "승자 없음"으로 기록해도 됩니다. 이것도 쓸모 있는 결과입니다. 승자가 나오면 그 안을 기준안으로 삼고, 다음 가설로 넘어갑니다.

기록 시트에는 날짜, 가설, 변경 변수, 버전별 지표 값, 결론, 다음 액션을 한 줄로 남깁니다. 이 시트가 다음 소재 기획 회의의 근거 자료가 됩니다.

바로 쓰는 체크리스트

  • 가설을 한 문장으로 적었다
  • 바꾸는 변수가 하나뿐이다
  • 성공 지표를 시작 전에 하나로 정했다
  • A안과 B안의 예산, 일정, 타겟, 게재 위치가 같다
  • 종료 기간과 최소 표본 기준을 적어 두었다
  • 파일명과 광고명에 변수가 드러난다
  • 테스트 중 소재·예산·타겟을 수정하지 않는다
  • 종료 후 결과를 기록 시트에 남겼다

자주 하는 실수

  • 이미지와 문구를 동시에 바꿈. 원인을 분리할 수 없습니다. 이미지 테스트를 먼저 끝내고, 승자 이미지로 문구를 테스트하십시오.
  • 며칠 만에 끊고 승자를 선언함. 하루 이틀의 차이는 요일이나 우연일 수 있습니다. 시작 전에 정한 기간과 표본이 채워질 때까지 기다립니다.
  • 결과를 보고 지표를 바꿈. 클릭률이 졌는데 전환이 높다는 이유로 기준을 바꾸면 어떤 결과든 해석할 수 있게 됩니다. 지표는 사전에 고정합니다.
  • 예산을 한쪽에 몰아줌. 노출 기회가 다르면 비교가 성립하지 않습니다. 동일 예산으로 시작합니다.
  • 한 번의 결과를 법칙으로 일반화함. 같은 가설을 다른 상품이나 시즌에서 한 번 더 확인한 뒤 가이드에 반영합니다.
  • 랜딩 페이지를 같이 수정함. 소재 테스트 중 랜딩이 바뀌면 전환율 비교가 무의미해집니다. 랜딩 변경은 테스트 사이에 합니다.

플랫폼의 메뉴 이름과 테스트 기능, 정책은 바뀔 수 있으므로 실행 전에 공식 도움말에서 확인하십시오. 메타는 Meta 비즈니스 고객센터에서 "A/B 테스트"를, 구글은 Google Ads 고객센터에서 "실험"을 검색하면 됩니다.


마케팅랩 에디터가 정리한 글입니다. 플랫폼 정책과 메뉴는 바뀔 수 있으니 실행 전 공식 도움말을 한 번 더 확인해 주세요. 틀린 내용이나 더 좋은 방법이 있으면 댓글로 알려 주세요.

목록
이 게시판의 다른 글
이 글에 댓글을 달거나 직접 물어보시려면 가입하면 무료 도구 18종과 마케팅 단가표도 같이 쓰실 수 있습니다.

댓글 0

첫 댓글을 작성해보세요.

카카오톡 상담
평일 10:00 ~ 18:00