표본 크기는 무엇으로 계산하나

계산에 필요한 입력은 네 가지입니다. 검정력(관행적으로 80%), 유의수준(관행적으로 95%, 즉 알파 0.05), 최소 검출 가능 효과(MDE), 그리고 대조군의 기준 전환율입니다. 95% 유의수준의 Z값은 1.96, 80% 검정력의 Z값은 0.84이며, 검출하려는 효과 크기를 크게 잡을수록 필요한 표본과 기간은 급격히 줄어듭니다.

여기서 실무 판단이 갈리는 항목은 MDE입니다. 전환율 3% 증가를 잡아내겠다고 하면 필요한 표본이 감당하기 어려운 규모가 됩니다. 반대로 20% 이상 차이만 잡겠다고 하면 현실적인 규모로 내려옵니다. 크리에이티브 테스트는 보통 큰 차이를 찾는 작업이므로 MDE를 크게 잡는 편이 실용적이고, 대신 결과를 읽을 때 작은 차이는 판정 불가로 남긴다는 점을 미리 합의해야 합니다. 검정력 분석은 반드시 시작 전에 하며, 끝난 테스트에 대한 사후 검정력 계산은 해석을 오도합니다.

노출량이 아니라 무엇을 세야 하나

표본 크기 계산의 단위는 전환입니다. 노출은 그 전환을 만들기 위해 필요한 트래픽일 뿐입니다. 그래서 설계 순서는 반대로 갑니다. 먼저 필요한 전환 수를 구하고, 자사 전환율로 나눠 필요한 클릭 수를 구하고, 자사 클릭률로 나눠 필요한 노출량을 구합니다. 이 순서로 계산하면 필요한 예산과 기간이 자연스럽게 나옵니다.

계산 결과가 감당 못할 규모로 나오는 경우가 흔한데, 그때의 선택지는 세 가지입니다. MDE를 키우거나, 상위 지표 대신 클릭률처럼 발생 빈도가 높은 지표로 판정하거나, A/B 판정을 포기하고 관측 기록으로만 남기는 것입니다. 세 번째도 정당한 선택입니다. 판정할 수 없는 데이터를 판정했다고 보고하는 것보다 낫습니다.

최소 기간은 어디에서 오나

기간에는 순수 비교 구간 말고도 두 덩어리가 얹혀 있습니다. 하나는 학습 구간입니다. 자동 입찰은 데이터를 모으는 학습 기간을 거치며 통상 7~14일이 소요되는 것으로 안내됩니다. 다른 하나는 초기 편차 구간입니다. 구글 애즈 실험은 시작 후 처음 7일간의 데이터를 통계 계산에서 아예 제외하는데, 초기 최적화 과정의 편차를 걷어내 공정하게 비교하기 위해서입니다.

권장 기간도 참고가 됩니다. 구글 애즈 실험 FAQ는 실험을 최소 46주 이상 진행할 것을 권하고 구매 주기가 긴 업종은 전환 주기 12회를 기다리라고 안내합니다. 메타 A/B 테스트는 신뢰할 수 있는 데이터를 모으는 데 통상 최소 5~7일이 필요하다는 정리가 업계에서 통용되지만, 정확한 최소 기간은 계정 전환량에 따라 달라져 절대 기준으로 삼기 어렵습니다. 여기에 전환 지연까지 감안해야 합니다. 최근 며칠 데이터는 계속 채워지므로 리포팅 버퍼를 정해 일정 일수 이내 데이터로는 최종 판단을 하지 않는 편이 안전합니다.

플랫폼이 보여주는 신뢰도는 어떻게 읽나

숫자의 기준선이 도구마다 다르다는 점을 먼저 확인해야 합니다. 구글 애즈 실험 결과 화면의 신뢰 구간 기본값은 80%이며 화면에서 다른 값으로 바꿔 확인할 수 있습니다. 반면 통계적 유의성 판단에 관행적으로 쓰이는 기준은 p값 0.05 미만, 즉 95%입니다. 기본값 화면을 그대로 읽고 유의하다고 보고하면 기준이 느슨해진 상태로 결론을 내리게 됩니다.

유의하지 않게 나왔을 때의 해석도 정리해 두면 좋습니다. 구글은 그 이유로 네 가지를 안내합니다. 실험 기간이 충분하지 않음, 캠페인 트래픽 자체가 부족함, 트래픽 분할 비율이 작아 실험 쪽 트래픽이 부족함, 그리고 적용한 변경이 실제로 유의미한 차이를 만들지 않음입니다. 앞의 셋은 설계 문제이고 마지막 하나만 결론입니다. 이 구분을 하지 않으면 설계가 부실한 테스트를 효과 없음으로 오독합니다.

소재를 여러 개 동시에 비교하면 무엇이 달라지나

동시에 검정하는 수가 늘면 최소 한 번 위양성을 낼 확률이 함께 커지는 다중비교 문제가 생깁니다. 귀무가설이 전부 참이어도 알파 0.05로 100번 검정하면 약 5건의 위양성이 우연히 나옵니다. 보정 방법으로 본페로니 교정이나 벤저미니-호크버그 절차가 쓰입니다.

트래픽 분산도 문제입니다. 다변량 테스트는 헤드라인 3종에 이미지 3종이면 9개 조합이 되고, 조합이 늘수록 각 조합에 배분되는 트래픽이 줄어 유의미한 결과를 얻으려면 A/B 테스트보다 훨씬 많은 트래픽이 필요합니다. 크리에이티브 매트릭스를 그대로 실험에 밀어 넣으면 이 함정에 빠집니다. 실무적 절충은 두 단계로 나누는 것입니다. 1단계는 판정 없이 성과 관측으로 후보를 좁히고, 2단계에서 후보 두세 개만 정식 A/B로 검정하는 방식입니다.

중간에 결과를 보고 싶을 때는 어떻게 하나

결론부터 말하면 봐도 되지만 그걸로 멈추면 안 됩니다. 실무에서 1종 오류가 가장 흔하게 발생하는 경로가 중간 결과를 들여다보다 유의해 보이는 순간 테스트를 멈추는 것이고, 이렇게 하면 실제 위양성률이 공표한 5%보다 훨씬 높아집니다. 1종 오류는 실제로는 차이가 없는데 효과가 있다고 결론 내리는 오류이고, 2종 오류는 반대로 효과가 있는데 놓치는 오류이며, 둘은 항상 상충합니다.

그래서 종료 조건을 시작 전에 문서로 못 박습니다. 필요한 전환 수, 최소 기간, 판정 지표 하나, 그리고 조기 종료를 허용하는 예외 상황입니다. 예외에는 명백한 사고가 들어갑니다. 실험 도중 대형 이슈나 프로모션 같은 외부 변수로 트래픽 패턴이 급변하면 결과가 오염될 수 있고, 이런 경우 해당 기간 데이터를 제외하거나 실험을 재시작하는 것이 일반적인 대응입니다. 그리고 어떤 경우든 A안과 B안 사이의 변경 요소는 하나로 한정해야 결과를 특정할 수 있습니다.