답변
광고 심의·정책 리스크의 실험군·대조군을 설계할 때 통계적 오류를 피하려면 아래 원칙을 먼저 지켜야 합니다. 광고 소재·랜딩페이지가 걸리는 심의는 크게 두 층위다 — ① 플랫폼 자체 정책(메타·구글·네이버 광고 정책상 금지·제한 업종 및 표현)과 ② 국내법(표시광고법의 부당한 표시·광고 금지, 의료광고 사전심의, 업종별 특별법)이다. 플랫폼 심사가 예상보다 길어지면(예: "검토 중" 상태 24시간 이상 지속) 결제 상태·정책 위반 가능성·광고주 인증 여부 순으로 점검하는 것이 실무 체크리스트로 알려져 있다. 광고 심의·정책 리스크의 실험군·대조군을 나눌 때는 무작위 배정(랜덤화)이 원칙이다 — 지역·시간대·이미 성과가 좋은 세그먼트를 임의로 실험군에 몰아주면 결과가 왜곡된다(선택 편향). 통계적 오류를 피하려면 사전에 최소 표본크기(필요 전환수)와 목표 검정력을 정해두고, 그 기준에 도달하기 전에 중간 결과만 보고 조기 종료하지 않아야 한다 — 이른 종료는 우연한 변동을 실제 효과로 오판하는 흔한 원인(peeking problem)이다. 실험군·대조군 사이에 같은 사람이 양쪽에 동시에 노출되는 오염(contamination)이 생기면 결과를 신뢰할 수 없다 — 오디언스를 완전히 분리하거나(지역 분할, 리스트 분할), 최소한 겹치는 비율을 사전에 확인해야 한다. 실험을 설계할 때는 시작 전에 최소 표본크기와 종료 기준을 문서로 먼저 확정해두시면, 중간에 결과가 흔들려도 원칙대로 끝까지 갈 수 있습니다.