빈도의 효과는 '발송 vs 미발송'이 아니라 '주1회 vs 주2회'를 무작위로 나눠야 보입니다.
리스트가 작으면 작은 차이는 원래 잡히지 않으므로, 성과 입증보다 수신거부 상한과 손익분기를 먼저 정합니다.
기간은 구매 주기 2회분에 종료 후 관찰 구간을 더해야 앞당긴 수요와 이탈이 드러납니다.

'메시지를 더 보내면 매출이 오른다'는 통념은 '보낸 메시지에는 반응이 있다'는 관찰에서 나옵니다. 그런데 그 관찰이 말해 주는 것은 메시지 한 통의 효과입니다. 한 통을 더 보냈을 때의 효과는 별개의 질문입니다. 발송 빈도를 정할 때 물어야 할 것은 '보내면 반응이 있는가'가 아니라 '이미 주 1회 받는 사람에게 2회째를 보내면 무엇이 더 생기고 무엇을 잃는가'입니다.

비교 대상이 틀리면 답도 틀립니다

발송군과 미발송군을 비교하면 메시지 자체의 효과를 알 수 있습니다. 하지만 빈도 결정에 필요한 값은 추가 한 통의 순증, 곧 한계효과입니다. 예를 들어 동네 필라테스 스튜디오가 연락 가능한 회원 1,200명에게 주 1회 보내고 있다면, 판단할 대상은 두 번째 메시지입니다. 이 경우 회원을 무작위로 둘로 나눠 A군은 주 1회를 유지하고 B군은 주 2회로 올립니다. 회원 ID에 난수를 붙여 정렬한 뒤 절반씩 나누면 됩니다.

무작위가 필요한 이유는 선택 편향 때문입니다. 최근에 방문한 회원에게만 더 보내면 원래 신청률이 높은 사람이 B군에 몰려 효과가 부풀려집니다. 미발송군은 '지금 보내는 주 1회 자체가 가치가 있는가'를 따로 확인할 때만 추가합니다. 3군 설계는 표본이 그만큼 더 필요합니다.

작은 리스트는 작은 차이를 보지 못합니다

두 군의 비율을 비교할 때 군당 필요 인원은 대략 16 × p(1−p) ÷ d²로 어림합니다. 유의수준 5%, 검정력 80% 근사식이고, p는 평균 전환율, d는 잡아내고 싶은 차이입니다. 이를 거꾸로 풀면 군 크기로 검출 가능한 차이를 알 수 있습니다.

계산 예시(가정값): 8주 신청 전환율을 5%, 군당 인원을 600명으로 가정하면 검출 가능한 차이는 약 3.6%p입니다. 5%가 8.6% 안팎까지 올라야 구분된다는 뜻입니다. 주 2회째 메시지가 만드는 차이는 보통 이보다 작으므로, 이 규모에서 '차이 없음'은 '있어도 못 잡았음'에 가깝습니다.

같은 가정에서 B군 신청이 A군보다 3건 많고 수신거부가 7명 더 많게 나왔다고 해 보겠습니다. 두 군의 신청 건수 차이는 우연만으로도 ±15건 안팎(계산 예시)까지 흔들립니다. 이 결과에 12주를 곱해 '분기 효과'로 외삽하는 계산은 근거가 없습니다. 작은 리스트에서는 질문을 바꿔야 합니다.

• '올랐는가'를 입증하려 하지 말고 '잃는 것의 상한'을 확인합니다. 수신거부와 채널 차단이 상한을 넘으면 중단합니다.
• 4주마다 군을 새로 무작위 분할해 반복하고 결과를 누적합니다.
• 주 1회에서 주 2회처럼 작은 변경보다, 차이가 클 법한 큰 변경만 시험합니다.

효과는 발송이 끝난 뒤에 나옵니다

주 2회로 이번 주 신청이 늘었다면, 다음 달에 신청할 사람을 앞당긴 것일 수 있습니다. 반대로 피로에 따른 이탈은 몇 주 뒤에야 수신거부와 열람 감소로 나타납니다. 따라서 주 단위 반응이 아니라 기간 전체의 수신자당 누적값을 봐야 합니다.

필라테스 스튜디오라면 체험 수업 후 등록 결정이 1~2주, 회원권 재등록 주기가 4주라고 가정할 수 있습니다. 그러면 8주(재등록 주기 2회) 동안 군별 빈도를 다르게 보내고, 이후 4주는 두 군 모두 주 1회로 되돌려 신청률을 비교합니다. 총 12주입니다. 마지막 4주에 B군 신청이 A군보다 눈에 띄게 낮다면 앞당김이나 피로를 의심할 근거가 됩니다.

바로 쓰는 설계표와 체크리스트

계산 예시(가정값): B군은 8주간 600명에게 8통을 더 보내고, 문자 단가는 건당 20원으로 가정하면 발송비는 96,000원입니다. 신청 1건의 마진을 80,000원, 수신거부 1명의 손실(이후 연락이 끊긴 회원의 기대 마진)을 30,000원으로 가정합니다. 신청이 3건, 수신거부가 7명 더 나왔다면 240,000 − 96,000 − 210,000 = −66,000원입니다. 다만 두 차이 모두 우연 범위라 이 부호도 믿을 수 없습니다. 이 표는 승패 판정용이 아니라 '표본을 더 모아야 하는지' 가리는 용도입니다.

• 분할에 쓴 난수와 군 명단을 저장하고, 시작 후에는 군을 옮기지 않았는가
• 두 군의 발송 요일과 시간대가 같은가(광고성 메시지는 오후 9시~다음 날 오전 8시 발송 시 별도 동의가 필요하므로 이 시간대는 제외)
• B군의 추가 메시지가 새 정보인지 같은 내용의 재발송인지 기록했는가
• 예약 확인·수업 변경 같은 거래성 안내는 빈도 계산에서 빼고 두 군에 동일하게 보냈는가
• (광고) 표기와 수신거부 방법이 두 군에서 같은가
• 주지표를 하나로 정하고, 중단 기준을 시작 전에 문서로 남겼는가
• 복귀 관찰 4주를 일정에 확보했는가

반론과 한계

'회원 1,200명으로 무슨 실험이냐'는 반론은 절반만 맞습니다. 효과를 입증하기는 어렵지만, 수신거부 상한과 손익분기를 정해 두고 반복 누적하면 '더 보내도 되는 범위'는 좁힐 수 있습니다. 반대로 신규 회원과 기존 회원처럼 반응이 다른 집단을 나눠 보고 싶다면, 군이 더 작아져 검출력이 더 떨어집니다.

이 설계는 메시지 내용의 질을 고정한 채 빈도만 바꾼 결과입니다. 내용이 달라지면 같은 빈도에서도 결과가 달라질 수 있습니다. 또 알림 끄기나 채널 차단은 수신거부 수치에 잡히지 않을 수 있어, 채널이 제공하는 차단·구독 해지 지표를 따로 확인해야 합니다.

주의할 점

• 열람률·클릭률을 주지표로 삼는 것: 제목만 자극적으로 바꿔도 오르는 지표라 빈도의 순증을 설명하지 못합니다.
• 중간 결과를 보고 기간을 늘리거나 줄이는 것: 사전 기준 없이 멈추면 우연한 차이를 결과로 확정하게 됩니다.
• 반응 좋은 회원 위주로 B군을 구성하는 것: 효과가 실제보다 크게 나옵니다.
• 수신거부만 보고 조용한 이탈을 놓치는 것: 알림 차단과 열람 중단은 따로 확인합니다.
• 거래성 안내를 빈도에 섞는 것: 두 군의 노출이 오염되어 비교가 흐려집니다.

발송 빈도는 취향이 아니라 비용과 손실 상한이 있는 의사결정입니다. 시험에 들어가기 전에 먼저 리스트 규모가 어느 크기의 차이까지 볼 수 있는지 계산해 보십시오.

마케팅랩 에디터가 정리한 글입니다. 플랫폼 정책과 메뉴는 바뀔 수 있으니 실행 전 공식 도움말을 한 번 더 확인해 주세요. 틀린 내용이나 더 좋은 방법이 있으면 댓글로 알려 주세요.