12CODE
← 아카데미 academy 12강. MMM과 MTA 결과가 다를 때: 두 모델을 함께 읽는 법 예상 7분

들어가며

두 측정 방법은 애초에 다른 질문에 답한다

1~7강에서 다룬 MTA(어트리뷰션)는 개별 사용자의 클릭·전환 로그를 픽셀·SDK로 추적해 "이 전환은 누구 덕인가"를 계산한다. 반면 8~11강에서 다룬 MMM은 매출·매체 지출의 집계 통계로 "채널 지출과 매출이 통계적으로 얼마나 함께 움직였는가"를 추정한다. 이 둘은 경쟁 관계가 아니라 서로 다른 질문에 답하는 보완 관계로 봐야 한다. 그런데도 실무에서 가장 곤란한 상황은 MMM이 "이 채널은 매출에 크게 기여한다"고 말하는데 MTA(또는 GA4의 DDA)는 "이 채널의 기여도가 낮다"고 반대로 나오는 경우다.

왜 두 모델이 반대로 나올 수 있는가

가장 흔한 원인은 MTA가 원천적으로 볼 수 없는 영역을 MMM은 보고 있기 때문이다. 8강에서 다룬 것처럼 TV·OOH 같은 오프라인 매체나, 쿠키 제한으로 경로가 끊긴 디지털 채널은 MTA 리포트에서 애초에 저평가되거나 아예 잡히지 않는다. MMM은 이런 채널의 지출과 전체 매출의 관계를 통계적으로 포착할 수 있어, MTA에서는 존재감이 없던 채널이 MMM에서는 유의미한 기여로 나타날 수 있다. 반대의 경우도 있다: MMM이 12강에서 다룰 과적합(변수 누락)에 걸려 특정 채널의 기여를 잘못 부풀렸다면, 개별 로그 기반인 MTA 쪽 결과가 더 정확할 수 있다.

두 지표가 서로 다른 결론을 낼 때 확인할 순서

무조건 한쪽 결과를 정답으로 받아들이기보다, 먼저 각 모델의 조건을 다시 대조하는 절차가 필요하다. MMM 쪽에서는 6강(이 과목의 6강이 아니라 MMM 모듈 안의 과적합 레슨)에서 다룬 변수 누락 문제가 없는지, 그 채널의 애드스톡·포화 곡선 추정이 최근 지출 변화 구간을 충분히 반영하고 있는지 점검한다. MTA 쪽에서는 3강에서 다룬 DDA의 최소 데이터 요건을 충족하는지, 6강(어트리뷰션 모듈)에서 다룬 크로스디바이스 매칭이 온전한지, 조회기간(룩백 윈도우) 설정이 그 채널의 실제 구매 주기와 맞는지를 점검한다. 두 쪽 다 문제가 없는데도 결론이 계속 어긋난다면, 그 채널만큼은 결론을 보류하고 인크리멘털리티(리프트) 테스트로 추가 검증하는 것이 안전하다.

리프트 테스트가 두 모델 사이의 심판 역할을 한다

인크리멘털리티(리프트) 테스트는 특정 지역이나 사용자 그룹의 매체 노출을 의도적으로 끄거나 늘려서, 그 매체가 없었을 때와 있었을 때의 매출 차이를 직접 비교하는 실험이다. 통제된 실험이기 때문에 인과관계를 가장 명확하게 보여주는 방법이지만, 한 번에 한두 채널씩만 검증할 수 있고 시간·비용이 든다. 구글이 공개한 Meridian GeoX는 이 지역 단위 실험 결과를 Meridian MMM의 베이지안 사전분포(calibration prior)로 되먹임해 모델을 보정하는 기능을 공식 지원한다. 즉 리프트 테스트로 확인한 실제 인과 효과를 MMM이 참고 정보로 삼게 만들어, 순수 상관관계 추정에만 의존할 때보다 결과의 신뢰도를 높이는 구조다.

정합성 체크를 정기적으로 운영하는 법

한 번의 교차 검증으로 끝내지 않고, 채널별로 주기를 정해 리프트 테스트를 돌아가며 실행하고 그 결과와 MMM·MTA 추정치를 나란히 기록해두는 방식이 실무에서 자리 잡고 있다. 이 기록이 쌓이면 어느 채널에서 두 지표가 자주 어긋나는지 패턴이 보이기 시작하는데, 이런 채널은 데이터 품질이나 모델 가정에 구조적인 문제가 있을 가능성이 높아 우선적으로 점검 대상에 올려두는 것이 좋다. 반대로 꾸준히 일치하는 채널은 이후 리프트 테스트 빈도를 줄이고 MMM·MTA 추정치를 더 신뢰해도 되는 채널로 분류할 수 있다.

아직 리프트 테스트를 안 해본 조직이라면

MMM 결과부터 확보한 뒤 그중 기여도가 예상과 크게 다르게 나온 채널이나 예산 비중이 큰 채널을 우선순위로 삼아 첫 리프트 테스트를 설계하는 접근이 현실적이다. 처음부터 모든 채널을 리프트 테스트로 검증하려면 시간·비용 부담이 크기 때문에, MMM과 MTA가 먼저 "의심 가는 채널"을 좁혀주고 리프트 테스트가 그 채널을 정밀 검증하는 순서로 세 방법을 엮는 것이 효율적이다.

결과를 팀에 공유할 때

두 지표를 비교한 결과를 보고할 때는 "MMM이 맞다" 또는 "MTA가 맞다"는 식의 단정적인 언어보다, 두 방법이 서로 다른 조건에서 측정한 결과라는 점을 먼저 설명하고 그 위에서 일치·불일치 여부를 전달하는 순서가 오해를 줄인다. 예산 재배분처럼 큰 의사결정 앞에서는, 두 지표가 일치하는 채널은 확신을 갖고 실행하고 불일치하는 채널은 추가 검증 전까지 배분 변경 폭을 보수적으로 가져가는 식으로 결과를 실무에 반영하는 것이 안전하다.

바로 쓰는 산출물: MMM vs MTA 대조·통합 판단 프레임

[MMM vs MTA 대조·통합 판단 프레임]

| 채널 | MTA(DDA) 기여도 | MMM 기여도 | 방향 일치 여부 | 1차 점검(변수 누락/데이터 요건) | 2차 조치 |
|---|---|---|---|---|---|
| 검색광고 | | | | | |
| 디스플레이 | | | | | |
| 유튜브 | | | | | |
| TV/OOH(오프라인) | | | | | (MTA로 측정 불가: MMM만 참고) |

판단 규칙:
- 방향 일치: 확신을 갖고 실행, 예산 변경폭 제한 없음
- 방향 불일치: 1차 점검 먼저(변수 누락, 데이터 요건, 크로스디바이스, 룩백 윈도우)
- 1차 점검에도 문제 없으면: 리프트 테스트로 재검증, 그 전까지 배분 변경 보수적으로

즉시 확인

  1. MMM이 MTA에서 안 보이던 채널의 기여를 잡아낼 수 있는 이유는 무엇인가요?
  2. 두 모델이 다른 결론을 낼 때 가장 먼저 해야 할 일은 무엇인가요?
  3. Meridian GeoX는 리프트 테스트 결과를 MMM에 어떻게 반영하나요?

정답·해설

  1. MMM은 개인 식별 데이터 없이 매출·매체 지출의 집계 통계를 보기 때문에, 픽셀을 심을 수 없는 오프라인 매체나 쿠키 제한으로 경로가 끊긴 채널의 효과도 포착할 수 있습니다.
  2. 무조건 한쪽을 정답으로 받아들이지 말고, MMM 쪽의 변수 누락과 MTA 쪽의 데이터 요건·크로스디바이스 매칭을 각각 다시 점검하는 것입니다.
  3. 지역 단위 인크리멘털리티 실험 결과를 Meridian MMM의 베이지안 사전분포(calibration prior)로 되먹여 모델을 보정합니다.

다음 레슨

13강. 실습 2: 간이 MMM으로 채널별 예산 재배분 시뮬레이션에서 지금까지 배운 개념을 종합해 실제 예산 재배분 시뮬레이션을 만들어봅니다.

핵심 정리

  1. MMM과 MTA는 경쟁 관계가 아니라 서로 다른 데이터(집계 통계 vs 개별 로그)로 다른 질문에 답하는 보완 관계입니다.
  2. 두 모델이 어긋나면 곧바로 한쪽을 버리지 말고, MMM의 변수 누락과 MTA의 데이터 요건·크로스디바이스 매칭을 먼저 점검해야 합니다.
  3. 점검 후에도 어긋나는 채널은 인크리멘털리티(리프트) 테스트로 재검증하고, 그 전까지는 예산 변경 폭을 보수적으로 가져가는 것이 안전합니다.

→ 이 강의 퀴즈 풀어보기 (챌린지)