답변
크리에이티브 테스트 체계라면 증분효과 검증이 곧 A/B 테스트 설계 그 자체입니다. 라스트클릭 등 통상적인 어트리뷰션은 광고가 없었어도 어차피 전환했을 사람에게 노출된 경우까지 성과로 잡는 구조적 편향이 있다. 증분효과(인크리멘털리티)는 '이 마케팅이 없었다면 일어나지 않았을 성과'만 분리해서 측정하는 접근으로, 상관관계 지표와는 다른 질문에 답한다. 증분효과를 검증하는 대표적 방법은 세 가지다. 노출 그룹과 비노출 그룹을 격리하는 실험 도구 기반 리프트 테스트(홀드아웃), 노출되지 않은 유사 지역을 대조군으로 쓰는 지역 홀드아웃 테스트, 그리고 개별 유저를 추적하지 않고 채널별 일별 지출과 매출의 통계적 관계로 기여도를 추정하는 마케팅 믹스 모델(MMM)이다. 짧은 캠페인 단위는 홀드아웃 실험이, 전사·장기 예산배분 판단에는 MMM이 더 맞는 도구다. 홀드아웃 테스트는 일부러 일부 잠재고객에게 광고를 노출하지 않는 방식이라, 그 그룹만큼의 단기 매출 기회를 실험 비용으로 감수해야 한다는 트레이드오프가 있다. 그래서 전체 대상 중 일부만 통제군으로 떼어놓고, 테스트 기간도 결과를 판단하기에 충분한 최소 기간으로 미리 정해두는 것이 실무적인 절충이다. 크리에이티브 A/B 테스트에서 통계적 유의성은 성과 차이가 우연이 아니라 실제 효과일 확률을 뜻하고, p-value가 낮을수록(예: 0.05 미만) 우연이 아닐 가능성이 높다는 뜻이다. 신뢰도가 충분히 쌓이기 전에 결과를 조기 판단(peeking)하면 우연한 차이를 진짜 차이로 오판(false positive)하는 확률이 커진다. 원인을 명확히 가려내려면 한 번에 하나의 변수(썸네일, 카피, CTA 등)만 바꾸는 단일변수 테스트가 이상적이지만 시간이 오래 걸린다. 실무에서는 여러 변수를 동시에 바꾸는 다변수 테스트(MVT) 후 통계적으로 기여도를 분리하는 방식을 병행하기도 한다. 증분효과까지 확인해야 비로소 "이 활동이 정말 돈값을 했는가"라는 질문에 답할 수 있습니다.