답변
단순 상관관계(캠페인 집행 기간과 매출 상승이 겹친다)와 증분 효과(그 캠페인이 없었다면 발생하지 않았을 매출)는 다르다. 증분 효과를 확인하려면 캠페인에 노출되지 않은 비교군(홀드아웃)이 반드시 필요하다 — 시계열상 전후 비교만으로는 계절성·경쟁사 활동·거시경제 요인과 캠페인 효과를 구분할 수 없다. 실무에서는 지역(geo) 단위로 일부 지역은 캠페인을 집행하지 않는 지오 홀드아웃 테스트, 또는 사용자 단위로 무작위 배제군을 만드는 PSA(공익광고 대체 노출) 방식을 쓴다. 유의미한 결과를 보려면 최소 표본 크기(검정력 계산 기반)와 최소 4주 이상의 관측 기간을 확보해야 하고, 홀드아웃 그룹이 다른 채널의 캠페인에 오염되지 않도록 격리해야 한다. 증분 효과 실험 자체가 이미 인과관계를 보는 방법이라, 여기서 실제로 점검할 것은 "이 테스트 프로그램이 진짜 인과추론을 하고 있는가"다 — 무작위 배정이 실제로 무작위였는지(선정 편향 여부), 홀드아웃 그룹이 다른 캠페인·리타겟팅에 오염되지 않았는지, 사전 A/A 테스트로 두 그룹이 애초에 비슷한 성과를 냈는지부터 검증해야 결과를 신뢰할 수 있다.