답변
매체별 예산 시뮬레이션에서 실험군과 대조군을 나눌 때 통계적 오류를 피하려면 아래 세 가지를 지키셔야 합니다. 통계적 유의성은 신뢰도(1-p값)로 판단하는데, 표본 크기(전환 건수)가 부족하면 실제로 차이가 있어도 유의하다고 판정하기 어렵다. 구글 광고 실험 도구는 신뢰도 50%를 기본으로 표시하지만, 확실한 결론이 필요하면 90%(p<0.10) 이상을 목표로 잡아야 한다. 계절성·프로모션 같은 외부 변수를 통제하지 않으면 실험 결과를 엉뚱한 원인으로 잘못 귀속시키는 오류가 생긴다. 실험군과 대조군은 같은 기간·비슷한 예산 규모로 동시에 나란히 운영해야 이 오류를 줄일 수 있다. 가능하면 아예 손대지 않은 대조군(control group)을 일부 남겨 비교하는 것이 계절성 등 외부 변수를 통제하는 가장 확실한 방법이다. 전후 비교(적용 전 vs 적용 후)만으로 판단하면 시기 차이에 의한 효과를 실험 효과로 착각하기 쉽다. 이 세 가지를 지키면 매체별 예산 시뮬레이션의 실험 결과를 '우연'이 아니라 '실제 효과'로 자신 있게 보고할 수 있습니다.