답변
브랜드 포트폴리오별 예산 배분의 효과를 상관관계가 아니라 증분(인과) 효과로 검증하려면, '이 결과가 이 캠페인이 없었어도 일어났을 일인가'라는 질문에 답할 수 있는 실험 설계가 필요합니다. 여러 브랜드·매체에 걸친 예산을 배분하는 문제는 감이 아니라 각 매체(또는 브랜드)의 포화 곡선을 종합해 총예산 제약 안에서 전체 매출을 최대화하는 배분안을 계산하는 예산 최적화(Budget Optimization) 문제입니다. 아직 곡선이 가파른 구간(추가 투입 대비 성과 증가폭이 큰 쪽)에 예산을 더 배정하고 이미 곡선이 평평해진 쪽에서는 줄이는 방향으로 최적점을 찾되, 이 결과는 수학적으로 계산된 후보안일 뿐이라 계약상 최소 집행액이나 제작 리드타임 같은 실행 가능성 제약까지 자동으로 반영하지는 않으므로 현실적 제약을 반영해 조정해야 합니다. 상관관계가 아닌 증분(인과) 효과를 검증하려면, 광고에 노출될 수 있었던 그룹과 통계적으로 동등하지만 노출되지 않은 통제군을 무작위로 나눠 비교하는 홀드아웃(holdout) 테스트가 대표적인 방법입니다. 지출이 큰 캠페인부터 대상자의 5~10% 정도를 무작위 통제군으로 배정해 몇 주간 노출군과 전환율 차이를 비교하면 그 차이가 캠페인이 만든 순수 증분 효과이고, 통제군을 '최근 접속하지 않은 유저'처럼 임의 기준으로 고르면 비교 근거 자체가 성립하지 않으므로 시스템이 유저 식별값 기준으로 자동 배정하는 무작위성이 반드시 보장돼야 합니다. 무작위 노출·비노출 통제군을 만들기 어려운 채널(오프라인·옥외광고 등)이라면, 특정 지역에서만 캠페인을 집행하고 인구·소비 특성이 비슷한 다른 지역은 집행하지 않은 뒤 두 지역의 온라인 성과 변화를 비교하는 지역 대조군 실험이 현실적인 대안입니다. 이런 실험조차 여의치 않다면, 최소한 캠페인 집행 기간과 비집행 기간의 성과 추이를 나란히 놓고 유의미한 차이가 있는지 확인하는 것만으로도 완전한 무지보다는 나은 판단 근거가 됩니다. 브랜드 포트폴리오별 예산 배분에서는 채널 특성에 따라 홀드아웃 테스트 또는 지역 대조군 실험 중 적용 가능한 쪽을 골라, 작은 규모(전체의 5~10%)로 먼저 시도해보시길 권합니다.