답변
어트리뷰션 모델 비교의 실험군·대조군을 설계할 때 흔히 생기는 통계적 오류부터 짚어드리겠습니다. 어트리뷰션 모델을 비교하려면 리프트 테스트(실험군·대조군을 정밀 격리해 증분을 측정) 인프라가 필요한데, 여기에 최소한의 예산·전환 신호 기준이 있다. 주당 최소 100건 이상의 전환이 있어야 신뢰성 있는 리프트 결과가 나온다는 가이드가 업계에 통용되지만 정확한 계정별 최소값은 매체 공식 수치로 확인되지 않고, 테스트 시작 전 최소 2~4주간 안정적인 픽셀·CAPI 전환 데이터가 쌓여 있어야 한다는 가이드도 마찬가지로 미확인 상태다. 통계적 오류를 피하려면 광고 세트당 주간 50개 최적화 이벤트라는 학습 안정 기준을 못 채우면 학습 제한 상태가 겹쳐 리프트 결과 자체가 왜곡될 수 있고, 예산을 한 번에 20% 넘게 늘리면 알고리즘이 재학습 단계로 들어가므로 테스트 기간 중 예산 변경은 최소화해야 한다. 여기에 더해, 어트리뷰션 모델을 비교할 때 광고주 보고서에서 확정 사실과 추정치를 가르는 대표적 지점이 GA4(라스트클릭 모델)와 매체 광고 관리자(자체 기여 모델) 간의 크로스 채널 데이터 격차다. 두 시스템은 서로 다른 기여 창(attribution window)과 서로 다른 트래킹 방식(쿠키·서버사이드)을 쓰기 때문에 같은 캠페인의 전환수가 다르게 집계되는 것이 정상 범위이며, 이 격차를 "어느 한쪽이 틀렸다"로 보고하지 말고 모델별 정의 차이로 설명하고 조율 공식(보정 배율 등)을 별도로 명시해야 한다. 마지막으로 실무적으로 꼭 챙기실 부분은, 실험군·대조군 설계에서 흔히 발생하는 통계적 오류는 세 가지다. ①표본 부족: 매체 자체 A/B 테스트 도구(예: 구글 광고 실험)도 학습 기간을 벗어나야 신뢰할 수 있는데, 통상 30일 30건 전환이 최소 기준으로 통용되고 목표 ROAS 같은 정교한 최적화는 그보다 많은 50건 이상을 권장 수준으로 본다 — 이 최소치를 채우지 못한 상태의 결과는 우연에 의한 차이일 수 있다. ②분할 방식 오염: 트래픽을 나눌 때 쿠키 기반(유저를 한 그룹에 고정)과 검색·세션 기반(발생할 때마다 재배정)이 있는데, 세션 기반은 같은 유저가 양쪽 그룹에 반복 노출돼 대조군이 오염될 수 있어 쿠키 기반이 기본 권장값이다. ③중도 개입: 테스트 도중 예산·타겟을 크게 바꾸면(통상 한 번에 20%를 넘는 예산 변경은 알고리즘 재학습을 유발) 두 그룹의 조건이 더는 동일하지 않게 되므로, 테스트 기간에는 실험 변수 외에는 손대지 않아야 한다.