연간 예산은 한 번의 실험으로 검증되지 않는다 — 채널·시기별로 쪼갠 실험을 1년에 걸쳐 순차 배치하는 캘린더가 실제 산출물이다
검증 대상은 예산 총액이 아니라 "이 채널의 마지막 20%를 빼면 매출이 얼마나 줄어드는가"라는 한계 구간이다
실험은 비수기·성수기·프로모션 구간을 피해 배치하고, 같은 지역·같은 모수에서 두 실험을 겹치지 않게 한다
채널마다 결과가 나오는 데 걸리는 기간이 다르므로 상위 퍼널 채널은 하위 퍼널보다 긴 기간을 배정한다
1년치 실험 결과는 개별 판정으로 소비하지 말고 모델 보정값으로 축적해 다음 해 예산 계획의 입력으로 넘긴다
왜 연간 예산 전체를 한 번에 검증할 수 없나
증분 분석은 광고를 노출한 집단과 노출하지 않은 통제 집단을 비교해, 광고가 없었어도 발생했을 몫을 제외한 순수 추가분만 분리하는 방법론입니다. 이 정의를 연간 예산 전체에 적용하면 "1년 동안 마케팅을 전혀 하지 않는 통제 집단"이 필요해집니다. 전사 차원에서 그 조건을 만들 수 있는 회사는 사실상 없습니다.
그래서 실무 설계는 방향을 바꿉니다. 전체를 껐다 켜는 대신, 예산의 가장자리를 흔듭니다. 채널별로 마지막 10~20% 구간을 빼거나 더해보고 매출이 어떻게 반응하는지 재는 방식입니다. 이 접근이 의사결정에도 더 맞습니다. 내년 예산 회의에서 실제로 논의되는 것은 "마케팅을 할 것인가"가 아니라 "어느 채널에서 얼마를 덜어 어디로 옮길 것인가"이기 때문입니다.
무엇을 검증 단위로 잡아야 하나
검증 단위는 채널이 아니라 채널의 한계 구간입니다. 매체별 광고비가 늘어날수록 매출 증가폭이 점점 완만해지는 포화 효과 때문에, 같은 채널이라도 지출 구간에 따라 증분 효율이 다릅니다. 총액 기준 ROAS가 좋은 채널이라도 마지막 구간에서는 거의 효과가 없을 수 있고, 그 반대도 성립합니다.
그래서 실험 설계서에는 검증 대상을 "채널 A"가 아니라 "채널 A의 월 예산 1억 원 구간에서 2,000만 원을 덜어냈을 때"처럼 구간으로 적어야 합니다. 이렇게 적어두면 결과 해석도 명확해집니다. 매출이 거의 줄지 않았다면 그 구간이 포화 구간이라는 뜻이지, 채널 전체가 무용하다는 뜻이 아닙니다. 이 구분을 설계서에 미리 못 박아두지 않으면 결과 보고 자리에서 반드시 과잉 해석이 나옵니다.
1년치 실험 캘린더는 어떤 순서로 배치하나
배치 원칙은 네 가지입니다. 첫째, 자사 마케팅 캘린더를 먼저 펼쳐 프로모션·신제품 출시·가격 변경 일정을 표시하고 그 구간을 실험 후보에서 제외합니다. 실험 도중 예기치 못한 외부 변수로 트래픽 패턴이 급변하면 결과가 오염되며, 이 경우 해당 기간을 제외하거나 실험을 재시작하는 것이 일반적인 대응입니다. 애초에 겹치지 않게 짜는 편이 비용이 적습니다.
둘째, 예산 비중이 큰 채널부터 배치합니다. 검증 가치가 금액에 비례하기 때문입니다. 셋째, 같은 시기에 같은 지역·같은 오디언스를 쓰는 실험을 두 개 이상 돌리지 않습니다. 넷째, 각 실험 사이에 여유 구간을 둡니다. 광고를 껐다 켠 직후에는 학습이 다시 도는 구간이 있어, 바로 다음 실험을 붙이면 앞 실험의 잔여 효과가 뒤 실험의 사전 기간을 오염시킵니다.
기간 배정은 채널 성격에 따라 다릅니다. 구글 애즈 고객센터는 실험을 최소 4~6주 이상 진행할 것을 권장하고, 구매 주기가 긴 업종은 전환 주기를 1~2회 기다릴 것을 안내합니다. 상위 퍼널 채널은 효과가 늦게 나타나므로 이보다 더 길게 잡아야 하며, 연간 캘린더에서는 이런 채널을 상반기에 배치해 결과를 하반기 조정에 쓸 수 있게 합니다.
실험에 쓸 예산과 검증 비율은 어떻게 정하나
연간 계획서에는 실험용 예산 항목을 따로 세워야 합니다. 실험은 대조군을 만들기 위해 의도적으로 노출을 포기하는 활동이라, 일반 집행 예산 안에서 처리하면 반드시 성과 압박에 밀려 취소됩니다. 규모는 검증하려는 구간 크기에서 역산합니다. 예를 들어 특정 채널에서 20% 구간을 4주간 비우는 실험이라면, 그 4주간 포기하는 매출 추정치가 실험의 실질 비용입니다.
여기에 측정 도구 비용이 더해집니다. 브랜드 지표까지 실험 대상에 넣는다면 구글 고객센터가 국가군별로 제시하는 브랜드 광고 효과 측정 최소 예산을 확인해야 합니다. 한국이 속한 국가군 기준으로 질문 1개짜리 스터디는 15,000달러, 질문 3개짜리는 60,000달러로 안내됩니다. 금액과 국가군 분류는 개정될 수 있으므로 연간 계획 확정 전에 매체 담당자에게 재확인하십시오.
결과를 다음 해 계획으로 어떻게 넘기나
1년치 실험이 끝나면 결과가 여러 장 남습니다. 이것을 개별 판정으로 흩어놓지 말고 하나의 표로 모아야 합니다. 표의 열은 채널, 검증 구간, 실험 기간, 증분 효과 추정치, 신뢰구간, 실험 설계상 한계, 이렇게 여섯 개면 충분합니다.
이 표는 다음 해 모델의 입력이 됩니다. 구글의 오픈소스 MMM 프레임워크 Meridian은 실험 데이터로 모델을 보정하는 기능을 공식 지원하며, 지역 단위 증분 실험 결과를 모델의 사전 정보로 되먹이는 구조를 제공합니다. MMM을 쓰지 않는 조직이라도 원리는 같습니다. 검증된 채널은 다음 해 계획에서 근거 있는 숫자로 들어가고, 검증하지 못한 채널은 "미검증"으로 표시된 채 들어갑니다. 미검증 표시가 남아 있는 것 자체가 다음 해 실험 캘린더의 우선순위가 됩니다.
다음 행동
내년 마케팅 캘린더에 프로모션·출시 일정을 먼저 표시하고, 그 사이에 4주 이상 비어 있는 구간이 몇 개나 되는지 세어보세요. 그 개수가 내년에 실행 가능한 실험의 최대 개수입니다.
← 이전 글 · 레슨 01 신제품 런칭 캠페인에서 브랜드 인지도 상승과 CPA의 상관관계를 통계적으로 증명하는 모델링 방법
CHALLENGE
배운 걸 실전 문제로 확인
카테고리별 Level Test로 실무 레벨을 점검해보세요.