가상 브랜드 '한줄커피'는 CTA 문구를 "지금 구매"와 "할인 받기" 두 가지로 나눠 돌렸습니다. 이틀 뒤 "할인 받기" 쪽 클릭이 조금 더 높게 나오자 바로 "할인 받기"로 전체를 바꿨습니다. 일주일 뒤 다시 보니 두 문구의 차이가 거의 없었고, 오히려 예산 배분이 한쪽에 쏠려 있었다는 걸 뒤늦게 알았습니다.
A/B 테스트는 시작 전에 가설·변수·관찰 기간·성공 기준을 정해야 하고, 그 전에 나온 차이는 결론이 아니라 중간 값입니다.
두 옵션의 성과가 조금 다르게 보이는 건 흔한 일입니다. 문제는 그 차이가 진짜 차이인지, 예산 배분이나 노출 시점 같은 다른 이유 때문인지 구분하지 않고 성급하게 결정한 것입니다. 미리 정한 기준에 도달하기 전에는 판단을 보류하는 습관이 필요합니다.
| 확인 항목 | 시작 전 해야 할 일 | 확인이 필요한 경우 |
|---|---|---|
| 가설 | 왜 다를 것으로 예상하는지 한 문장으로 적기 | 가설 없이 시작한 테스트는 결과 해석 보류 |
| 변수 | 이번엔 무엇 하나만 바꾸는지 정하기 | 두 개 이상 바뀌었으면 원인 특정 불가로 기록 |
| 관찰 기간 | 최소 며칠(요일 변동 포함) 지켜보기로 정하기 | 초반 하루 차이만으로 판단하지 않기 |
| 성공 기준 | 클릭률·전환율 중 무엇으로 승자를 정할지 미리 정하기 | 기준 없이 눈으로만 비교하지 않기 |
실험 카드
한줄커피가 이틀 만에 CTA를 바꾼 결정에서 놓친 것은? A. 소재 디자인 B. 최소 관찰 기간과 성공 기준을 미리 정하지 않은 것 C. 광고 예산 총액 정답: B — 미리 정한 기간과 기준이 없으면 초반 변동만 보고 성급하게 판단하게 됩니다.
A/B 테스트에서 '변수'를 하나만 바꿔야 하는 이유는? A. 제작 비용을 줄이기 위해 B. 여러 요소를 동시에 바꾸면 원인을 구분할 수 없기 때문에 C. 광고 심사 규정 때문에 정답: B — 변수를 하나로 제한해야 성과 차이의 원인을 특정할 수 있습니다.
실험 카드에 '성공 기준'을 미리 적어야 하는 이유는? A. 승자를 정할 지표를 나중에 임의로 바꾸지 않기 위해 B. 소재 제작 시간을 줄이기 위해 C. 예산을 자동으로 배분하기 위해 정답: A — 기준을 미리 정해야 결과가 나온 뒤 유리한 지표로 바꿔 해석하는 것을 막을 수 있습니다.