답변
DOOH·옥외 매체 집행의 실험군·대조군을 설계할 때 흔히 생기는 통계적 오류부터 짚어드리겠습니다. DOOH의 실험군·대조군 설계(지오펜싱 리프트 분석)는 광고에 노출된 지오펜스 안 디바이스군과, 노출되지 않은 비슷한 특성의 대조군을 비교하는 방식으로 이뤄진다. 통계적 오류를 피하려면 두 가지를 유의해야 한다 — ①지오펜스 안에 있었다는 사실이 실제로 화면을 봤다는 것을 보장하지 않으므로 측정은 확률적 모델로 주의(attention)를 추정하는 한계를 갖는다는 것, ②통계적으로 유의미한 결과를 얻으려면 통상 수십만 건 이상의 노출 규모가 필요한 것으로 통칭되며 캠페인 규모가 작으면 결과의 신뢰도가 떨어질 수 있다는 것이다. 여기에 더해, DOOH 예산 규모와 조기 경보 지표를 잡을 때 핵심 축은 유동인구 데이터와 실제 송출 조건의 매칭 여부다. 고정 지면 예약(비트리거 방식)은 조건과 무관하게 계약 기간 내내 같은 단가로 송출되므로 유동인구가 없는 시간대에도 비용이 그대로 청구된다 — 실제로 오피스 상권 전광판에 주말 시간대까지 비싼 단가로 고정 송출했다가 리드 확보가 제로였던 실패 사례가 보고된다(오피스 상권은 평일 출퇴근·점심시간에 유동인구가 집중되고 주말에는 급격히 감소하는 게 일반적 특성이다). 이런 미스매치는 프로그래매틱 트리거 바잉으로 전환하면 구조적으로 방지할 수 있다 — 유동인구 임계치 조건을 걸면 조건 미충족 시 입찰 자체가 발생하지 않는다. 마지막으로 실무적으로 꼭 챙기실 부분은, 실험군·대조군 설계에서 흔히 발생하는 통계적 오류는 세 가지다. ①표본 부족: 매체 자체 A/B 테스트 도구(예: 구글 광고 실험)도 학습 기간을 벗어나야 신뢰할 수 있는데, 통상 30일 30건 전환이 최소 기준으로 통용되고 목표 ROAS 같은 정교한 최적화는 그보다 많은 50건 이상을 권장 수준으로 본다 — 이 최소치를 채우지 못한 상태의 결과는 우연에 의한 차이일 수 있다. ②분할 방식 오염: 트래픽을 나눌 때 쿠키 기반(유저를 한 그룹에 고정)과 검색·세션 기반(발생할 때마다 재배정)이 있는데, 세션 기반은 같은 유저가 양쪽 그룹에 반복 노출돼 대조군이 오염될 수 있어 쿠키 기반이 기본 권장값이다. ③중도 개입: 테스트 도중 예산·타겟을 크게 바꾸면(통상 한 번에 20%를 넘는 예산 변경은 알고리즘 재학습을 유발) 두 그룹의 조건이 더는 동일하지 않게 되므로, 테스트 기간에는 실험 변수 외에는 손대지 않아야 한다.