답변
단순 상관관계(캠페인 집행 기간과 매출 상승이 겹친다)와 증분 효과(그 캠페인이 없었다면 발생하지 않았을 매출)는 다르다. 증분 효과를 확인하려면 캠페인에 노출되지 않은 비교군(홀드아웃)이 반드시 필요하다 — 시계열상 전후 비교만으로는 계절성·경쟁사 활동·거시경제 요인과 캠페인 효과를 구분할 수 없다. 실무에서는 지역(geo) 단위로 일부 지역은 캠페인을 집행하지 않는 지오 홀드아웃 테스트, 또는 사용자 단위로 무작위 배제군을 만드는 PSA(공익광고 대체 노출) 방식을 쓴다. 유의미한 결과를 보려면 최소 표본 크기(검정력 계산 기반)와 최소 4주 이상의 관측 기간을 확보해야 하고, 홀드아웃 그룹이 다른 채널의 캠페인에 오염되지 않도록 격리해야 한다. MMM은 관측 데이터를 통계적으로 추정한 결과라 실제 인과관계와는 오차가 있을 수 있으므로, 최소 1~2개 채널에 대해 지오 홀드아웃 같은 실험 결과와 MMM 추정치를 대조해 모델을 보정(calibration)하는 과정을 정기적으로 거쳐야 신뢰도가 유지된다.