신제품 소재 A/B 테스트를 진행할 때 통계적으로 유의미한 결과를 얻기 위한 최소 노출량 기준

같은 10만 노출이라도 전환율 0.5%인 상품과 5%인 상품은 쌓이는 전환 수가 열 배 차이입니다. 통계적 판정은 노출이 아니라 결과 이벤트의 수로 이뤄지므로, 노출량만으로 기준을 정할 수 없습니다. 매체들이 노출 기준 대신 기간과 전환 수를 안내하는 이유가 여기 있습니다.

구글은 PMax의 머신러닝 최적화를 위해 최소 주당 10~15건의 전환을 권장하고, 실험 결과가 유의하지 않게 나오는 이유로 기간 부족, 캠페인 트래픽 부족, 트래픽 분할 비율이 작아 실험 쪽 트래픽이 부족한 경우, 변경사항이 실제로 차이를 만들지 않은 경우 네 가지를 안내합니다.

필요한 입력은 네 가지입니다. 현재 전환율(기준 전환율), 검출하고 싶은 최소 효과 크기, 유의수준(보통 95%), 검정력(보통 80%)입니다. 이 값을 표본 크기 계산기에 넣으면 각 그룹에 필요한 표본 수가 나옵니다.

여기서 실무자가 가장 자주 잘못 잡는 값이 최소 효과 크기입니다. "5%만 좋아져도 채택하겠다"고 잡으면 필요한 표본이 급격히 커집니다. 우리 계정이 감당할 수 있는 표본으로 검출 가능한 차이가 몇 퍼센트인지를 거꾸로 계산해 보고, 그보다 작은 차이는 애초에 실험 대상에서 빼는 편이 현실적입니다.

메타 A/B 테스트는 신뢰할 수 있는 데이터를 모으는 데 통상 최소 5~7일이 필요하며, 이는 알고리즘의 학습 기간과도 맞물립니다. 구글 애즈 실험 FAQ 문서는 최소 4~6주 이상 진행을 권장하고, 구매 주기가 긴 업종은 전환 주기 1~2회를 기다리는 것이 좋다고 안내합니다.

구글 애즈 실험은 시작 후 처음 7일간의 데이터를 통계 계산에서 아예 제외합니다. 초기 최적화 과정의 편차를 걷어내 원본과 실험 캠페인을 공정하게 비교하기 위해서입니다. 즉 실험을 2주 돌렸다면 실제 판정에 쓰이는 데이터는 1주분입니다.

관행적으로 p값 0.05 미만을 통계적으로 유의미하다고 봅니다. 결과가 우연히 발생했을 확률이 5% 미만이라는 뜻이며, 0.05라는 값 자체는 관행이지 절대적 기준은 아닙니다. 구글 애즈는 1에서 p값을 뺀 신뢰도로 표현하고, 실험 결과 화면의 신뢰 구간 기본값은 80%이며 사용자가 다른 신뢰수준으로 바꿔 확인할 수 있습니다.

기본값이 80%라는 점은 중요합니다. 화면에 유의하다고 표시돼도 그것은 80% 기준일 수 있으므로, 큰 예산 결정을 앞두고 있다면 신뢰수준을 올려 다시 확인해야 합니다.

첫째, 중간에 들여다보고 좋아 보일 때 끊는 것입니다. 계산한 표본에 도달하기 전에 조기 종료하면 통계적으로 유의미하지 않은 결론을 채택할 위험이 커집니다.

둘째, 변수를 여러 개 동시에 바꾸는 것입니다. 유효한 A/B 테스트는 A안과 B안 사이 변경 요소를 하나로 한정해야 합니다. 여러 요소를 동시에 바꾸는 다변량 테스트는 조합 수가 늘수록 각 조합의 트래픽이 줄어, A/B 테스트보다 훨씬 많은 트래픽이 필요합니다.

셋째, 외부 변수 오염입니다. 실험 중 대형 이슈나 포털 노출, 경쟁사 프로모션으로 트래픽 패턴이 급변하면 결과가 오염됩니다. 이 경우 해당 기간 데이터를 제외하거나 실험을 다시 시작하는 것이 일반적인 대응입니다.

전환수가 적어 계산한 표본을 못 채우는 계정이 현실에서는 더 많습니다. 이럴 때는 판정 지표를 상위로 올립니다. 전환 대신 클릭률이나 장바구니 담기처럼 발생 빈도가 높은 이벤트로 먼저 판정하고, 전환은 누적 관찰로 돌립니다.

또 하나는 실험 회차를 합치는 방법입니다. 같은 설계로 여러 시즌에 걸쳐 반복하고 데이터를 누적해 판정합니다. 대신 조건이 달라진 회차는 섞지 않도록 회차별 조건을 기록해 둬야 합니다. 이 기록이 없으면 나중에 무엇을 합칠 수 있는지 알 수 없습니다.