답변
신제품 런칭 통합 캠페인의 효과를 상관관계가 아니라 증분(인과) 효과로 검증하려면, '이 결과가 이 캠페인이 없었어도 일어났을 일인가'라는 질문에 답할 수 있는 실험 설계가 필요합니다. 신제품 런칭 같은 통합 캠페인은 인지(TV·OOH) → 탐색(SEO·바이럴) → 구매(빅테크 DA·SA) → CRM 4단계로 채널을 배치하고, 각 단계가 다음 단계로 무엇을 넘겨주는지(핸드오프 지표)를 명시하는 채널 매트릭스로 설계해야 합니다. 인지 단계는 그 자체로 전환을 만드는 게 아니라 다음 단계에서 검색·클릭 확률을 높이는 준비 작업이라 전환율·CPA만으로 평가하면 항상 비효율로 보이는 착시가 생기고, 신제품 출시 분기에는 인지 확산 채널의 비중이 커지는 것이 정상입니다. 상관관계가 아닌 증분(인과) 효과를 검증하려면, 광고에 노출될 수 있었던 그룹과 통계적으로 동등하지만 노출되지 않은 통제군을 무작위로 나눠 비교하는 홀드아웃(holdout) 테스트가 대표적인 방법입니다. 지출이 큰 캠페인부터 대상자의 5~10% 정도를 무작위 통제군으로 배정해 몇 주간 노출군과 전환율 차이를 비교하면 그 차이가 캠페인이 만든 순수 증분 효과이고, 통제군을 '최근 접속하지 않은 유저'처럼 임의 기준으로 고르면 비교 근거 자체가 성립하지 않으므로 시스템이 유저 식별값 기준으로 자동 배정하는 무작위성이 반드시 보장돼야 합니다. 무작위 노출·비노출 통제군을 만들기 어려운 채널(오프라인·옥외광고 등)이라면, 특정 지역에서만 캠페인을 집행하고 인구·소비 특성이 비슷한 다른 지역은 집행하지 않은 뒤 두 지역의 온라인 성과 변화를 비교하는 지역 대조군 실험이 현실적인 대안입니다. 이런 실험조차 여의치 않다면, 최소한 캠페인 집행 기간과 비집행 기간의 성과 추이를 나란히 놓고 유의미한 차이가 있는지 확인하는 것만으로도 완전한 무지보다는 나은 판단 근거가 됩니다. 신제품 런칭 통합 캠페인에서는 채널 특성에 따라 홀드아웃 테스트 또는 지역 대조군 실험 중 적용 가능한 쪽을 골라, 작은 규모(전체의 5~10%)로 먼저 시도해보시길 권합니다.