답변
연간 마케팅 예산 수립의 효과를 상관관계가 아니라 증분(인과) 효과로 검증하려면, '이 결과가 이 캠페인이 없었어도 일어났을 일인가'라는 질문에 답할 수 있는 실험 설계가 필요합니다. 연간 총괄 예산 기획은 개별 캠페인 예산의 합이 아니라, 매출 목표에서 역산해 총액을 먼저 정하고 아래로 쪼개는 하향식(top-down) 설계입니다. 이사회·경영진이 승인한 연간 매출 목표(또는 신규 고객 획득 목표)를 먼저 확정한 뒤 그 목표를 달성하는 데 필요한 마케팅 투입량을 역산하는 순서(매출 목표 확정 → 필요 투입량 산정 → 총예산 승인 → 하위 배분)가 뒤바뀌면, 연말에 '왜 이 금액을 썼는가'를 설명할 근거 자체가 사라집니다. 상관관계가 아닌 증분(인과) 효과를 검증하려면, 광고에 노출될 수 있었던 그룹과 통계적으로 동등하지만 노출되지 않은 통제군을 무작위로 나눠 비교하는 홀드아웃(holdout) 테스트가 대표적인 방법입니다. 지출이 큰 캠페인부터 대상자의 5~10% 정도를 무작위 통제군으로 배정해 몇 주간 노출군과 전환율 차이를 비교하면 그 차이가 캠페인이 만든 순수 증분 효과이고, 통제군을 '최근 접속하지 않은 유저'처럼 임의 기준으로 고르면 비교 근거 자체가 성립하지 않으므로 시스템이 유저 식별값 기준으로 자동 배정하는 무작위성이 반드시 보장돼야 합니다. 무작위 노출·비노출 통제군을 만들기 어려운 채널(오프라인·옥외광고 등)이라면, 특정 지역에서만 캠페인을 집행하고 인구·소비 특성이 비슷한 다른 지역은 집행하지 않은 뒤 두 지역의 온라인 성과 변화를 비교하는 지역 대조군 실험이 현실적인 대안입니다. 이런 실험조차 여의치 않다면, 최소한 캠페인 집행 기간과 비집행 기간의 성과 추이를 나란히 놓고 유의미한 차이가 있는지 확인하는 것만으로도 완전한 무지보다는 나은 판단 근거가 됩니다. 연간 마케팅 예산 수립에서는 채널 특성에 따라 홀드아웃 테스트 또는 지역 대조군 실험 중 적용 가능한 쪽을 골라, 작은 규모(전체의 5~10%)로 먼저 시도해보시길 권합니다.