답변
단순 상관관계(캠페인 집행 기간과 매출 상승이 겹친다)와 증분 효과(그 캠페인이 없었다면 발생하지 않았을 매출)는 다르다. 증분 효과를 확인하려면 캠페인에 노출되지 않은 비교군(홀드아웃)이 반드시 필요하다 — 시계열상 전후 비교만으로는 계절성·경쟁사 활동·거시경제 요인과 캠페인 효과를 구분할 수 없다. 실무에서는 지역(geo) 단위로 일부 지역은 캠페인을 집행하지 않는 지오 홀드아웃 테스트, 또는 사용자 단위로 무작위 배제군을 만드는 PSA(공익광고 대체 노출) 방식을 쓴다. 유의미한 결과를 보려면 최소 표본 크기(검정력 계산 기반)와 최소 4주 이상의 관측 기간을 확보해야 하고, 홀드아웃 그룹이 다른 채널의 캠페인에 오염되지 않도록 격리해야 한다. 네이버 검색광고는 브랜드 키워드 입찰을 껐다 켜는 방식으로 증분 효과를 검증하는 것이 대표적이다 — 브랜드 키워드는 어차피 자연 유입될 사용자가 클릭하는 비중이 커서, 실제로 입찰을 잠시 중단해 자연 검색결과만으로 유입되는 전환량과 비교하면 광고의 순증 기여분을 가늠할 수 있다.