답변
대행 수수료·정산 구조의 실험군·대조군을 설계할 때 통계적 오류를 피하려면 아래 원칙을 먼저 지켜야 합니다. 대행 수수료·정산 구조는 크게 광고비 대비 정률 수수료, 고정 월 리테이너, 성과 연동형(전환·매출 기준 인센티브) 세 가지 모델로 나뉘고, 실무에서는 이 중 하나만 쓰기보다 리테이너와 성과 연동을 섞은 하이브리드 구조를 쓰는 경우가 많다. 어떤 모델이든 매체비와 대행 수수료를 분리해 청구·정산하는 방식(투명 정산)인지, 매체비에 수수료를 포함해 뭉쳐 청구하는 방식(마크업)인지에 따라 광고주가 요구할 수 있는 자료 범위가 달라진다. 대행 수수료·정산 구조의 실험군·대조군을 나눌 때는 무작위 배정(랜덤화)이 원칙이다 — 지역·시간대·이미 성과가 좋은 세그먼트를 임의로 실험군에 몰아주면 결과가 왜곡된다(선택 편향). 통계적 오류를 피하려면 사전에 최소 표본크기(필요 전환수)와 목표 검정력을 정해두고, 그 기준에 도달하기 전에 중간 결과만 보고 조기 종료하지 않아야 한다 — 이른 종료는 우연한 변동을 실제 효과로 오판하는 흔한 원인(peeking problem)이다. 실험군·대조군 사이에 같은 사람이 양쪽에 동시에 노출되는 오염(contamination)이 생기면 결과를 신뢰할 수 없다 — 오디언스를 완전히 분리하거나(지역 분할, 리스트 분할), 최소한 겹치는 비율을 사전에 확인해야 한다. 실험을 설계할 때는 시작 전에 최소 표본크기와 종료 기준을 문서로 먼저 확정해두시면, 중간에 결과가 흔들려도 원칙대로 끝까지 갈 수 있습니다.