왜 "얼마나 잘 맞는가"를 따로 검증해야 하는가

MMM은 확률적 추정 결과를 내놓는 모델이라, 결과 리포트가 그럴듯해 보인다고 해서 그 모델이 실제로 정확하다는 보장은 없습니다. 그래서 모델을 실제 예산 의사결정에 쓰기 전, 모델이 과거 데이터를 얼마나 잘 재현하는지를 별도로 검증하는 단계가 필요합니다. 검증 방법은 대체로 모델이 예측한 매출값과 실제로 발생한 매출값을 같은 기간에 나란히 놓고 그 차이(오차)를 계량화하는 방식입니다. 이 검증을 거치지 않고 바로 예산 배분에 쓰면, 실제로는 부정확한 모델의 결과를 근거로 큰 예산을 잘못 옮기는 위험이 생깁니다.

MAPE는 무엇을 계산하는 지표인가

오차를 계량화하는 대표적인 지표 중 하나가 MAPE(Mean Absolute Percentage Error, 평균절대백분율오차)입니다. 매 기간(주 또는 월)마다 "모델이 예측한 매출"과 "실제 매출"의 차이를 실제 매출 대비 백분율로 환산하고, 이를 전체 기간에 걸쳐 평균 낸 값입니다. 값이 낮을수록 모델이 실제 매출을 더 정확히 재현했다는 뜻입니다. 다만 이 레슨 제목에 예시로 나온 "MAPE 10% 이내"라는 기준값은 구글이나 메타 같은 공식 문서가 못 박은 표준이 아닙니다 — 실제로 허용 가능한 오차율은 매출의 변동성, 업종, 데이터 기간에 따라 회사마다 달라지므로, 절대 기준값으로 단정하기보다 "우리 모델의 오차율이 이전 버전보다 개선됐는가", "우리 업종의 다른 예측 모델(수요예측 등) 오차율과 비교했을 때 합리적인가"를 기준으로 판단하는 것이 더 현실적입니다.

MAPE 하나만 보면 놓치는 것 — 잔차 분석

MAPE는 전체 기간의 평균 오차만 보여주기 때문에, 특정 시기에 오차가 몰려 있는 문제를 감출 수 있습니다. 예를 들어 전체 평균 오차율은 낮게 나왔더라도, 특정 프로모션 시즌이나 이상치가 있었던 몇 주만 오차가 크게 튀고 나머지 기간은 거의 완벽하게 맞아떨어졌다면 평균값만으로는 이 문제가 드러나지 않습니다. 그래서 잔차(residual, 예측값에서 실제값을 뺀 차이)를 시계열 그래프로 그려 시간축에 걸쳐 오차가 무작위로 흩어져 있는지, 아니면 특정 구간에 몰려 있는지를 시각적으로 확인하는 잔차 분석을 함께 수행해야 합니다. 잔차가 특정 시기에 몰려 있다면, 그 시기에 모델이 놓친 변수(외부 요인)가 있다는 신호로 해석할 수 있습니다.

오차가 크게 나왔을 때 되짚는 순서

검증 결과 오차율이 기대보다 크게 나왔다면, 무작정 모델 파라미터를 조정하기보다 원인을 순서대로 되짚는 것이 효율적입니다. 먼저 6강에서 다룬 것처럼 매출에 영향을 준 외부 변수(계절성·프로모션·경쟁사 동향) 중 빠진 게 없는지 확인하고, 그다음으로 2강에서 다룬 데이터 해상도·정합성 문제(매체 지출과 매출의 시점이 어긋나 있지는 않은지)를 점검합니다. 두 단계를 거쳐도 오차가 여전히 크다면, 그때 애드스톡·포화 함수의 파라미터 설정을 조정하는 모델 튜닝 단계로 넘어갑니다. 이 순서를 거꾸로 하면(변수·데이터 문제를 그대로 둔 채 파라미터만 조정하면) 근본 원인은 해결되지 않은 채 모델이 겉으로만 맞아 보이게 튜닝되는, 6강에서 다룬 과적합과 비슷한 함정에 빠질 수 있습니다.

베이지안 모델이라 오차 검증도 확률 구간으로 봐야 한다

3강에서 다룬 대로 Meridian 같은 베이지안 프레임워크는 결과를 확률분포로 내놓기 때문에, 오차 검증 역시 단일 예측값과 실제값의 차이만 볼 게 아니라 예측 신뢰구간 안에 실제값이 들어오는 비율까지 함께 확인하는 것이 정석입니다. 예를 들어 모델이 "95% 신뢰구간" 형태로 예측을 낸다면, 검증 기간 동안 실제 매출이 이 구간 안에 들어온 비율이 이론적으로 기대되는 비율(약 95%)에 가까운지를 보는 방식입니다. 이 비율이 기대치보다 크게 낮다면, 모델이 실제보다 과도하게 확신에 찬 좁은 구간을 제시하고 있다는 신호로 해석해 파라미터를 다시 점검해야 합니다.

검증을 정기적으로 반복해야 하는 이유

모델 검증은 처음 구축할 때 한 번만 하고 끝나는 절차가 아닙니다. 8강에서 다룬 예산 최적화와 마찬가지로, 새로운 매출·지출 데이터가 쌓이고 모델을 재학습할 때마다 오차율·잔차 패턴이 이전 버전과 비교해 개선됐는지 나빠졌는지를 매번 확인하는 것이 안전합니다. 특히 시장 환경이 급변하거나(신규 경쟁사 진입, 소비 트렌드 변화) 매체 믹스를 크게 바꾼 직후에는, 과거 데이터로 학습한 모델의 예측력이 갑자기 떨어질 수 있어 정기 검증 주기와 별도로 임시 점검을 해보는 것이 좋습니다.