표본 크기는 무엇부터 정해야 계산이 되나

전환율 기반 실험의 표본 크기 계산에는 네 가지 입력이 필요합니다. 검정력(Statistical Power, 관행적 기준 80%), 유의수준(관행적 기준 95%, 즉 α=0.05), 최소 검출 가능 효과(MDE), 그리고 대조군의 기준 전환율입니다. 95% 유의수준의 Z값은 1.96, 80% 검정력의 Z값은 0.84로 계산에 들어갑니다. 실무에서 순서를 거꾸로 잡는 경우가 많은데, 기간을 먼저 정하고 표본을 맞추는 것이 아니라 검출하려는 효과 크기를 먼저 정해야 필요한 표본과 기간이 나옵니다. MDE를 5% 상승이 아니라 20% 상승으로 크게 잡으면 필요한 표본과 기간이 급격히 줄어드는데, 반대로 말하면 작은 차이를 잡아내겠다고 선언하는 순간 실험 비용이 급등한다는 뜻입니다. 여기서 80%·95%는 법정 기준이 아니라 업계 관행이므로, 예산 재배분처럼 되돌리기 어려운 의사결정이면 더 보수적으로, 방향만 보는 탐색적 실험이면 더 느슨하게 잡는 선택도 정당합니다. 검정력 분석은 반드시 시작 전에 해야 하고, 이미 끝난 실험에 대한 사후(post-hoc) 검정력 계산은 통계적으로 오해를 부르므로 보고서에 넣지 않습니다.

1종·2종 오류 중 우리 실험은 어느 쪽이 더 비싼가

1종 오류(위양성)는 실제로는 차이가 없는데 '효과가 있다'고 결론 내리는 오류로, 그 확률은 유의수준으로 통제됩니다(임계값 5%면 1종 오류율 5%). 2종 오류(위음성)는 실제로 효과가 있는데 '차이 없음'으로 놓치는 오류이며, 그 확률은 검정력의 여집합입니다(검정력 80%면 2종 오류율 20%). 유의수준을 0.05에서 0.01로 낮추면 1종 오류는 줄지만 2종 오류는 늘어납니다. 둘을 동시에 줄이는 방법은 표본을 늘리는 것뿐이고, 표본을 늘릴 수 없다면 어느 쪽 오류가 더 비싼지 광고주와 먼저 합의해야 합니다. 판단 기준은 단순합니다. 이 결과로 예산을 크게 옮기거나 매체를 끊는 결정을 한다면 1종 오류가 더 비싸므로 유의수준을 엄격하게 잡고, 유망한 신규 매체를 계속 볼지 말지 정도의 결정이라면 2종 오류가 더 비싸므로 검정력을 확보하는 쪽에 표본을 씁니다. 이 합의를 실험 설계서 첫 장에 적어두면, 결과가 애매하게 나왔을 때 해석을 두고 벌어지는 소모적인 논쟁을 줄일 수 있습니다.

중간 결과를 들여다보면 왜 위양성이 늘어나나

실무 A/B 테스트에서 1종 오류가 가장 흔하게 발생하는 경로는 중간 결과를 들여다보다가 유의해 보이는 순간 테스트를 멈추는 것입니다. 이렇게 하면 실제 위양성률이 공표한 5%보다 훨씬 높아집니다. 대시보드가 실시간으로 열려 있는 환경에서는 이 유혹을 의지로 막을 수 없으므로 규칙으로 막아야 합니다. 실험 설계서에 종료 조건(사전 계산한 표본 도달 또는 사전에 정한 종료일)을 숫자로 적고, 그 조건을 채우기 전에는 중간 수치를 광고주 정기보고에 올리지 않는다는 원칙을 세우는 것이 현실적인 방법입니다. 중간 점검이 꼭 필요하다면 확인 목적을 '유의성 판단'이 아니라 '데이터 수집이 정상인가'로 한정하고, 노출·전환 수집이 끊기지 않았는지, 대조군에 광고가 새어 들어가지 않았는지 같은 구현 오류만 봅니다.

모델을 여러 개 한꺼번에 비교하면 무엇이 깨지나

여러 가설검정을 동시에 돌리면 최소 한 번 1종 오류를 낼 확률이 검정 수에 따라 커지는 다중비교 문제(alpha inflation)가 발생합니다. 귀무가설이 전부 참이어도 α=0.05로 100번 검정하면 약 5건의 위양성이 우연히 나옵니다. 어트리뷰션 검증에서 이 함정은 특히 잘 밟힙니다. 모델 3종을 채널 8개, 지표 4개에 각각 돌려놓고 '유의하게 차이 나는 조합'을 찾아 보고하면 그 조합은 우연히 나온 것일 가능성이 큽니다. 보정 방법으로는 본페로니 교정과 벤저미니-호크버그 절차가 쓰이며, 보정을 붙이기 어렵다면 아예 검정 수를 줄이는 쪽이 낫습니다. 실험 설계서에 주요 지표(primary metric) 하나와 보조 지표 목록을 미리 분리해 적고, 의사결정은 주요 지표 하나로만 한다고 못 박는 방식이 대행사 실무에서 가장 운영하기 쉽습니다.

어트리뷰션 모델 비교는 왜 A/B 테스트로 증명되지 않나

여기서 가장 중요한 판별 기준입니다. 어트리뷰션 모델을 바꾸는 일은 이미 발생한 같은 전환을 다른 규칙으로 재배분하는 작업이지, 사용자를 무작위로 나눠 서로 다른 처치를 하는 실험이 아닙니다. 라스트클릭과 데이터 기반 모델의 채널별 숫자가 다르게 나오는 것은 실험 결과가 아니라 계산 규칙의 차이이므로, 여기에 유의성 검정을 붙이는 것 자체가 성립하지 않습니다. A/B 테스트 도구는 크리에이티브·타겟팅·노출위치 같은 단일 변수 비교에 적합하고, 광고가 없었어도 발생했을 매출을 제외한 순수 증분을 재려면 대조군에 광고를 노출하지 않는 홀드아웃 기반 리프트 테스트가 맞는 도구입니다. 그러니 '모델 비교'와 '증분 검증'을 한 실험에 섞지 말고, 모델 비교는 같은 기간 데이터를 두 규칙으로 계산해 차이를 기술하는 대사(reconciliation) 작업으로, 증분 검증은 별도의 홀드아웃 실험으로 분리해 설계하십시오. 홀드아웃을 쓸 때는 계정 내 다른 캠페인과 오디언스가 겹치면 대조군이 오염되므로, 실험 기간 동안 겹치는 캠페인 목록을 먼저 뽑아 정리해야 합니다.