지역 실험은 어떤 순서로 굴러가나

전체 절차는 다섯 단계입니다. ① 지역×기간 매출 데이터를 모아 사전 기간을 확보합니다. ② 실험군·대조군 지역을 나눕니다. ③ 실험군에만 광고를 집행하거나, 반대로 실험군에서만 광고를 끕니다. ④ 사전 기간에 확인된 두 그룹의 관계를 근거로 "광고가 없었다면 실험군에서 나왔을 매출"을 추정합니다. ⑤ 실제 매출에서 그 추정치를 빼 증분 매출을 계산합니다.

이 중 실무자가 가장 적게 준비하는 단계가 ①입니다. 지역별 매출을 주차 단위로 정리한 표가 없으면 나머지 네 단계는 시작조차 못 합니다. 데이터 형식은 단순합니다. 행은 지역과 주차의 조합, 열은 매출·주문수·광고비 정도면 충분하며, 이 패널 형식이 대부분의 지역 실험 도구가 요구하는 입력 형태입니다.

대조군 지역은 어떻게 쓰는가

대조군 지역 선정 기준 자체는 과목 235에서 다루므로 여기서는 선정된 대조군을 계산에 쓰는 방식만 봅니다. 가장 단순한 방식은 두 그룹의 사전 대비 변화량을 비교하는 것입니다. 실험군이 사전 대비 12% 올랐고 대조군이 4% 올랐다면 차이인 8%포인트를 광고 효과로 보는 식입니다. 계산은 쉽지만, 두 그룹의 사전 추세가 정확히 나란했다는 강한 가정에 기대는 방식입니다.

더 정교한 방식이 합성 대조군입니다. 대조군 후보 지역 여러 곳을 가중치로 조합해 실험군의 사전 매출 곡선을 최대한 비슷하게 복제한 가상의 지역을 만들고, 실험 기간에는 그 가상 지역의 값을 반사실 값으로 씁니다. 메타 마케팅사이언스팀이 공개한 오픈소스 프레임워크 GeoLift가 이 방식을 쓰며, 증강 합성 대조군(ASCM)과 일반화 합성 대조군(GSC)을 결합하고 모수 부트스트랩으로 신뢰구간을 산출합니다.

증분 매출 금액은 어떻게 산출하나

산출 순서는 이렇습니다. ① 실험 기간 실험군의 실제 매출 합계를 구합니다. ② 같은 기간의 반사실 추정 매출 합계를 구합니다. ③ ①에서 ②를 뺀 값이 증분 매출입니다. ④ 그 기간 실험군에 투입한 광고비로 나누면 증분 ROAS가 나옵니다. ⑤ 신뢰구간을 함께 적습니다.

⑤가 빠지면 그 숫자는 보고서에서 반드시 반박당합니다. 신뢰구간이 0을 포함한다면 "증분이 있었다"고 단정할 수 없다는 뜻이고, 그 사실을 먼저 밝히는 쪽이 나중에 신뢰를 얻습니다. 또 하나 함께 적어야 할 것은 전환 지연입니다. 최근 며칠 데이터는 계속 채워지므로, 리포팅 버퍼 정책을 정해 그 안쪽 구간은 계산에서 빼거나 별도 표기해야 합니다.

사전 기간과 실험 기간은 어떻게 잡나

사전 기간은 두 조건을 동시에 만족해야 합니다. 첫째, 대조군과 실험군의 관계를 추정할 만큼 길어야 합니다. 둘째, 자사 사업의 계절 변동을 최소 한 번은 통과해야 합니다. 명절 수요가 큰 카테고리에서 명절이 한 번도 포함되지 않은 사전 기간으로 모델을 만들면, 실험 기간에 명절이 들어오는 순간 반사실 추정이 무너집니다.

실험 기간은 무엇을 재는지에 따라 다릅니다. 구글 애즈 고객센터는 실험을 최소 46주 이상 진행할 것을 권장하고, 구매 주기가 긴 업종은 전환 주기를 12회 기다리라고 안내합니다. GeoLift는 테스트 지역이 정해졌을 때 필요한 기간과 투자액을 계산하는 기능, 최적 테스트 시장 수를 구하는 기능, 데이터 기반으로 시장을 선정하는 기능을 제공하므로, 기간을 감으로 정하는 대신 이런 계산기로 먼저 뽑아보는 편이 낫습니다. 다만 이 도구는 R 4.0.0 이상 환경을 요구하므로 사내에 실행 인력이 있는지부터 확인해야 합니다.

결과를 어디까지 일반화할 수 있나

지역 실험 결과는 실험한 채널·기간·지역·예산 구간에 한정된 값입니다. 4주간 특정 채널을 껐을 때 나온 증분 ROAS를 그 채널의 상시 값으로 옮겨 쓰면 과대·과소 해석이 발생합니다. 특히 광고비 지출이 늘수록 매출 증가폭이 완만해지는 포화 효과 때문에, 다른 예산 구간에서는 같은 값이 나오지 않습니다.

일반화 대신 축적을 택하는 편이 낫습니다. 구글의 오픈소스 MMM 프레임워크 Meridian은 실험 데이터로 모델을 보정하는 기능을 공식 지원하고, 지역 단위 증분 실험 결과를 모델의 사전 정보로 되먹이는 구조를 제공합니다. 실험 한 건은 한 구간의 답이지만, 여러 건이 모델에 들어가면 구간 사이를 잇는 곡선이 됩니다. 실험 결과를 보고 후 폐기하지 말고 실험 대장에 남겨야 하는 이유가 여기에 있습니다.