A/B 테스트가 불가능한 채널(TV·옥외광고)에서 증분 효과를 추정하는 대안

디지털 실험은 같은 시점에 사람을 무작위로 나눠 한쪽에만 광고를 보내는 구조입니다. TV와 옥외광고는 이 구조가 성립하지 않습니다. 송출과 게시는 지역과 시간대 단위로 이뤄지고, 누가 보았는지는 사후 추정 대상입니다. 노출량도 개인 도달이 아니라 총시청률(GRP) 같은 집계 지표로 관리됩니다. GRP는 특정 기간 집행한 광고의 누적 시청률 합으로, 도달률과 평균 노출빈도를 곱해 산출합니다.

그래서 방법을 바꿔야 합니다. 사람을 나눌 수 없으면 지역을 나누고, 지역도 나눌 수 없으면 시간을 나눕니다. 둘 다 어려우면 집계 데이터로 추정하는 모델로 갑니다. 이 세 갈래가 실무에서 실제로 쓰이는 대안의 전부입니다.

가장 인과에 가까운 대안입니다. 광고를 집행하는 지역과 집행하지 않는 지역을 나누고, 두 지역군의 매출·검색량·방문 지표를 비교합니다. 옥외광고는 애초에 지역 단위 매체라 이 설계와 잘 맞고, TV도 지역 방송 편성을 활용하면 노출 강도를 지역별로 다르게 만들 수 있습니다.

주의할 점은 완전한 비노출이 어렵다는 것입니다. 전국 단위 방송이 대조군 지역에도 도달하면 그 지역은 순수 대조군이 아닙니다. 이때는 완전 비노출 대신 노출 강도 차이(고GRP 지역 대 저GRP 지역)로 설계를 바꾸고, 결과 해석도 "광고 유무의 효과"가 아니라 "노출 강도 차이의 효과"로 적어야 합니다. 이 문장을 설계서에 미리 적어두지 않으면 결과 보고 때 반드시 과장 해석이 발생합니다.

지역을 나눌 수 없는 전국 단일 집행이라면 시간 축을 씁니다. 광고를 켠 구간과 끈 구간을 번갈아 배치하고, 구간별 성과 차이를 봅니다. 단순해 보이지만 조건이 까다롭습니다. 첫째, 켜고 끄는 주기가 계절성·요일 효과와 겹치지 않아야 합니다. 둘째, 광고 효과가 노출 즉시 끝나지 않고 시간이 지나며 줄어드는 형태로 이월되기 때문에, 끈 직후 구간에는 앞 구간의 잔여 효과가 남습니다. 셋째, 구간 수가 적으면 우연한 변동과 구분되지 않습니다.

그래서 이 설계는 최소 서너 번 이상 반복 가능한 경우에만 권할 만합니다. 한 번 껐다 켜본 뒤 그 차이를 효과라고 부르는 것은 실험이 아니라 관찰입니다. 반복이 어렵다면 이 방식으로 얻은 값을 단독 근거로 쓰지 말고, 다른 방법의 결과와 대조하는 참고값으로만 쓰십시오.

MMM은 사용자 단위 추적 없이 매출·매체별 광고비·외부 거시 변수 같은 집계 통계를 분석해 각 채널의 기여를 추정하는 방법론입니다. TV·옥외처럼 개인 추적이 불가능한 매체를 모델에 함께 넣을 수 있다는 것이 이 방식의 존재 이유입니다. 광고 효과의 이월을 애드스톡으로, 지출 증가에 따른 증가폭 둔화를 포화 함수로 반영합니다.

다만 MMM은 상관 구조에서 기여를 추정하는 방식이라 그 자체로 인과를 보장하지 않습니다. 그래서 실험과 함께 쓰는 것이 정석입니다. 구글의 Meridian은 실험 데이터로 모델을 보정하는 기능을 공식 지원하므로, 지역 실험을 한 번이라도 돌렸다면 그 값을 모델에 넣어 TV·옥외 추정치의 신뢰도를 함께 올릴 수 있습니다.

매출만으로는 이 채널들의 가치가 다 잡히지 않습니다. 브랜드 리프트 조사는 노출 그룹과 비노출 통제 그룹을 나눠 설문으로 인지도·광고 회상률·구매 고려도 차이를 비교하는 방법론이며, 온라인 매체는 플랫폼 자체 설문으로, TV 등 오프라인 매체는 별도 리서치 패널 조사로 진행합니다. 지역을 나눈 설계를 이미 짰다면 조사 표본도 같은 지역 구분에 맞춰 뽑아야 합니다.

표본 크기는 검출하려는 차이에 따라 정합니다. 신뢰수준 95%에서 표본오차는 500명일 때 ±4.4%포인트, 1,000명일 때 ±3.1%포인트이므로, 3%포인트 안팎의 인지도 차이를 잡으려면 500명 조사로는 부족합니다. 지역별로 나눠 조사한다면 각 지역군마다 이 표본이 필요하다는 점도 예산 계산에 반영해야 합니다.