두 방법은 애초에 무엇을 재고 있나

MMM은 사용자 단위 추적 없이 매출·매체별 광고비·외부 거시 변수 같은 집계 통계를 분석해 각 채널의 기여도를 추정하는 방법론입니다. 증분 실험은 광고를 노출한 집단과 노출하지 않은 통제 집단을 비교해 광고가 없었어도 발생했을 몫을 제외한 순수 추가분만 분리합니다. 앞은 관측 데이터에서 관계를 추정하는 방식이고, 뒤는 비교 대상을 인위적으로 만들어 차이를 측정하는 방식입니다.

이 차이 때문에 두 값은 애초에 정확히 같아질 이유가 없습니다. 실무에서 먼저 확인할 것은 "다르다"가 아니라 "얼마나, 어느 방향으로 다른가"입니다. 실험값이 모델값보다 낮게 나오는 패턴인지 높게 나오는 패턴인지, 그리고 그 차이가 신뢰구간 안에 들어오는지를 먼저 표로 정리하십시오.

어긋남을 부르는 네 가지 원인은 무엇인가

첫째, 기간 불일치입니다. MMM은 대개 13년 데이터로 평균적 기여를 추정하고, 실험은 48주 구간의 값을 냅니다. 그 4주가 비수기였다면 낮게 나오는 것이 정상입니다.

둘째, 예산 구간 불일치입니다. 지출이 늘수록 매출 증가폭이 완만해지는 포화 효과 때문에, 실험이 건드린 한계 구간의 효율과 모델이 내놓는 평균 효율은 다릅니다. 대개 한계 구간 값이 평균값보다 낮습니다. 이 경우 두 값은 충돌한 것이 아니라 서로 다른 질문에 답한 것입니다.

셋째, 이월 효과 처리 차이입니다. 광고 효과는 노출 즉시 끝나지 않고 시간이 지나며 줄어드는 형태로 이월되며, MMM은 이를 애드스톡으로 모델에 반영합니다. 실험이 광고를 끈 뒤 4주만 관측했다면 이월분이 아직 남아 있어 효과가 과소 추정됩니다.

넷째, 실험 오염입니다. 대조군에 광고가 새어 들어갔거나, 실험 기간에 프로모션이 겹쳤거나, 다른 채널이 동시에 움직였다면 실험값 자체가 틀린 것입니다.

어느 쪽을 기준으로 삼아야 하나

판단 순서는 이렇습니다. ① 실험 설계를 먼저 감사합니다. 대조군 오염 여부, 기간 중 변경 이력, 사전 기간 안정성, 신뢰구간 폭을 확인합니다. ② 감사를 통과한 실험이라면 그 값을 인과 기준으로 삼습니다. ③ 모델은 그 값에 맞춰 보정합니다. ④ 감사에서 문제가 발견되면 실험값을 폐기하고, 모델값도 단독 근거로 쓰지 않은 채 재실험 조건을 정의합니다.

②를 원칙으로 두는 이유는 방법론의 성격 때문입니다. 실험은 비교 대상을 직접 만들어 확인한 값이고, 모델은 데이터에 남은 관계에서 추론한 값입니다. 다만 이 원칙이 "실험은 항상 옳다"는 뜻은 아닙니다. 표본이 부족하거나 설계가 잘못된 실험은 모델보다 나쁜 답을 냅니다. 그래서 ①이 ② 앞에 있습니다.

충돌을 통합 절차로 어떻게 흡수하나

구글의 오픈소스 MMM 프레임워크 Meridian은 A/B 테스트나 증분 실험 데이터를 활용해 모델을 보정하는 기능을 공식 지원합니다. 순수 상관 추정에만 의존하지 않고 실제 실험으로 확인된 인과 효과를 모델 학습에 반영할 수 있다는 점이 출시 시점부터 강조된 기능입니다. 지역 단위 실험 도구인 Meridian GeoX는 특정 지역의 집행을 중단하거나 확대해 인과 효과를 측정한 뒤 그 결과를 모델의 사전 분포로 되먹이는 구조로 설명됩니다.

MMM을 직접 운영하지 않는 조직도 같은 원리를 문서로 구현할 수 있습니다. 실험 결과를 채널별 기여 추정치의 상·하한으로 등록해 두고, 모델이나 매체 리포트가 그 범위를 크게 벗어나면 그때 재검토하는 규칙입니다. 이 규칙이 있으면 매 분기 같은 논쟁을 반복하지 않게 됩니다.

결론을 미뤄야 하는 상황은 어떤 경우인가

두 값이 크게 다르고, 실험 감사에서도 명확한 결함이 나오지 않으며, 기간·구간·이월로도 설명되지 않는 경우가 있습니다. 이때 하나를 골라 밀어붙이는 것은 데이터 기반 의사결정이 아니라 취향 선택입니다. 이 상황에서 내려야 할 결론은 "재실험 조건"입니다.

재실험 조건에는 최소한 네 가지를 적습니다. ① 이번에 오염 가능성이 있던 요소를 어떻게 차단할 것인가 ② 관측 기간을 이월 효과가 소진될 만큼 늘릴 수 있는가 ③ 같은 예산 구간에서 반복할 것인가 다른 구간을 볼 것인가 ④ 다음 실험 전까지 예산은 현행 유지인가 잠정 조정인가. ④를 비워두면 그 사이 결정이 결국 감으로 이뤄집니다.