답변
프로그래매틱 DSP 집행의 실험군·대조군을 설계할 때 흔히 생기는 통계적 오류부터 짚어드리겠습니다. 프로그래매틱 공급망은 DSP-거래소-SSP-네트워크 등 여러 중개 단계를 거치며 각 단계마다 사업자가 수수료를 취하는 구조라, 광고주가 지불한 총액과 매체가 실제로 받는 금액의 차액(업계에서 통칭 "애드테크 택스")이 광고 보고서의 확정 사실과 추정치를 가르는 지점이 된다. 다만 정확한 마진 비율은 계약·거래소·채널마다 달라 검증된 표준 수치는 없으므로, "광고비의 몇 %가 중간에서 사라진다"는 식의 구체적인 %를 광고주 보고서에 확정 사실처럼 적어서는 안 되고, 그런 수치를 제시하는 자료를 볼 때도 근거를 먼저 확인해야 한다. 여기에 더해, DSP 집행을 플랫폼 자동 입찰에만 맡기면 가짜 봇 클릭(애드 프로드)이 섞여 들어올 리스크가 있다. 애드 프로드 차단은 입찰 전 걸러내는 프리비드(pre-bid)와 집행 후 판별하는 포스트비드(post-bid) 두 단계로 작동하는데, IAS는 프리비드 단계에서 URL·앱 번들 ID·IP 등으로 입찰 여부를 판단하도록 지원하고 DoubleVerify는 SIVT(정교한 무효 트래픽) 탐지와 가시성 측정에서 MRC 인증을 보유하고 주요 DSP·SSP 대부분과 연동돼 있다. DSP의 자동 최적화 기능만 켜두고 이런 애드옵스 검증 레이어를 따로 붙이지 않으면, 낙찰률·전환수 같은 성과 지표 자체가 무효 트래픽으로 오염될 수 있다. 마지막으로 실무적으로 꼭 챙기실 부분은, 실험군·대조군 설계에서 흔히 발생하는 통계적 오류는 세 가지다. ①표본 부족: 매체 자체 A/B 테스트 도구(예: 구글 광고 실험)도 학습 기간을 벗어나야 신뢰할 수 있는데, 통상 30일 30건 전환이 최소 기준으로 통용되고 목표 ROAS 같은 정교한 최적화는 그보다 많은 50건 이상을 권장 수준으로 본다 — 이 최소치를 채우지 못한 상태의 결과는 우연에 의한 차이일 수 있다. ②분할 방식 오염: 트래픽을 나눌 때 쿠키 기반(유저를 한 그룹에 고정)과 검색·세션 기반(발생할 때마다 재배정)이 있는데, 세션 기반은 같은 유저가 양쪽 그룹에 반복 노출돼 대조군이 오염될 수 있어 쿠키 기반이 기본 권장값이다. ③중도 개입: 테스트 도중 예산·타겟을 크게 바꾸면(통상 한 번에 20%를 넘는 예산 변경은 알고리즘 재학습을 유발) 두 그룹의 조건이 더는 동일하지 않게 되므로, 테스트 기간에는 실험 변수 외에는 손대지 않아야 한다.