홀드아웃 지역을 선정할 때 상권·인구 특성을 매칭시키는 방법

지오 홀드아웃 테스트에서 실험군·대조군 지역은 인구통계보다 행동, 곧 과거 매출·주문·전환이 유사한 곳끼리 매칭해야 합니다. 수준이 아니라 추세가 함께 움직이는지가 핵심 판단 기준입니다. 인구 규모가 비슷한 두 도시라도 자사 상품의 수요 패턴이 다르면 대조군으로 쓸 수 없고, 반대로 인구 구조가 달라도 매출이 나란히 움직였다면 좋은 짝입니다.

그래서 실무 순서는 자사 데이터가 먼저입니다. 최근 1년 이상의 지역별 주간 매출 시계열을 그려 함께 움직이는 쌍을 찾고, 그 결과를 인구·상권 자료로 설명하고 보완합니다. 순서를 뒤집으면 통계표에서 비슷해 보이는 지역을 골라놓고 실제 매출은 따로 노는 상황이 벌어집니다.

세 곳에 씁니다. 첫째, 층화 구성입니다. 수도권처럼 규모가 압도적인 지역이 어느 군에 들어가느냐가 결과를 지배하는 문제를 막으려면, 규모나 도시 유형으로 층을 나눈 뒤 각 층 안에서 실험군·대조군을 배정해야 합니다. 이때 층을 나누는 기준으로 인구·상권 자료가 쓰입니다.

둘째, 매칭 실패의 진단입니다. 두 지역의 매출 추세가 어긋난다면 그 이유를 찾아야 다음 실험 설계가 나아집니다. 대형 유통 채널 비중이 크게 다르거나 관광 수요 비중이 다른 경우가 흔한 원인입니다.

셋째, 결과 설명입니다. 증분이 특정 지역군에서만 크게 나왔다면, 그 지역군의 공통 특성을 상권 자료로 설명할 수 있어야 다음 예산 배분에 활용할 수 있습니다.

국가통계포털(KOSIS)이 제공하는 시도 소매판매액지수는 17개 시도별로 백화점, 대형마트, 면세점, 슈퍼마켓·잡화점 및 편의점, 승용차·연료소매점, 전문소매점 등 6개 업태별 구조로 작성되며 지역 소비 동향 파악의 기초자료로 안내됩니다. 서비스업 브랜드라면 시도 서비스업생산지수를 볼 수 있으며, 17개 시도별로 한국표준산업분류 13개 대분류에 해당하는 자료로 작성됩니다.

이 자료를 쓸 때 유의할 점은 두 가지입니다. 첫째, 업태·산업 대분류 단위라 특정 브랜드의 수요와 직접 대응하지 않습니다. 자사 매출 시계열이 있으면 그쪽이 항상 우선입니다. 둘째, 공표 시차가 있어 주 단위 판단에는 쓸 수 없습니다. 실험 직전 상황 점검용이 아니라 층화 설계와 사후 설명용으로 위치를 잡아야 합니다.

실무 가이드는 최소 10~15개의 매칭된 지역을 실험군·대조군으로 나누고 사전 기간 상관계수 95% 이상을 확보할 것을 권합니다. 다만 이 수치는 특정 업체·매체의 권고치이며 공식 표준이 아닙니다. 국내 광역 단위는 17개뿐이라 이 권고를 그대로 적용하면 각 군이 지나치게 작아지고, 시·군·구 단위로 내려가면 지역별 전환량이 통계적으로 의미 있는 수준에 미치지 못하는 경우가 많습니다.

국내 공식 기준으로 공개된 지역 수 권고는 확인되지 않으므로, 자사 데이터로 기준선을 세우는 절차를 대신 씁니다. ① 최근 26주 이상 지역별 주간 매출을 뽑습니다. ② 한 번에 한 항목만 바꾼다는 원칙 아래, 지역 단위(광역·시군구)를 하나씩 바꿔가며 추세가 함께 움직이는 쌍이 몇 개나 만들어지는지 셉니다. ③ 같은 요일·같은 주차끼리 비교합니다. ④ 쌍이 충분하지 않으면 지오 설계를 포기하고 사용자 단위 홀드아웃이나 온·오프 설계를 검토합니다.

지역 배정표는 실험 시작 전에 확정하고 그대로 보관해야 합니다. 표에 들어갈 열은 여섯 개면 충분합니다. 지역명, 배정 군(실험·대조·제외), 사전 기간 매출 추세 동조 여부, 층 구분, 인구·상권 참고 지표, 제외 사유입니다.

이 표가 남아 있어야 결과가 나온 뒤 지역을 바꿔 다시 계산하는 일을 막을 수 있습니다. 결과를 본 뒤 지역을 조정하면 원하는 결론을 만들 수 있게 되고, 그 순간 실험은 근거로서의 지위를 잃습니다. 실험 대장에 이 표를 첨부하는 것을 절차로 정해두면, 담당자가 바뀌어도 같은 기준이 유지됩니다.