답변
단순 상관관계(캠페인 집행 기간과 매출 상승이 겹친다)와 증분 효과(그 캠페인이 없었다면 발생하지 않았을 매출)는 다르다. 증분 효과를 확인하려면 캠페인에 노출되지 않은 비교군(홀드아웃)이 반드시 필요하다 — 시계열상 전후 비교만으로는 계절성·경쟁사 활동·거시경제 요인과 캠페인 효과를 구분할 수 없다. 실무에서는 지역(geo) 단위로 일부 지역은 캠페인을 집행하지 않는 지오 홀드아웃 테스트, 또는 사용자 단위로 무작위 배제군을 만드는 PSA(공익광고 대체 노출) 방식을 쓴다. 유의미한 결과를 보려면 최소 표본 크기(검정력 계산 기반)와 최소 4주 이상의 관측 기간을 확보해야 하고, 홀드아웃 그룹이 다른 채널의 캠페인에 오염되지 않도록 격리해야 한다. 카카오싱크의 증분 효과는 카카오싱크 버튼 노출 여부를 A/B로 나눠, 동일 기간 일반 회원가입 대비 전환율 차이로 검증하는 방식이 가장 직접적이다.