12CODE

MKT FAQ

MKT FAQ 분석·실험·성과개선

증분성 실험 설계을 확장할 때 효율 저하를 조기에 감지하는 경보 지표는 무엇인가요?

이런 질문도 같은 답입니다: 증분성 실험 설계를 확장할 때 효율 저하를 조기에 감지하는 경보 지표는 무엇인가요?

답변

증분성 실험을 여러 캠페인·계정으로 확장할 때 가장 먼저 나타나는 경보는 리프트 수치의 지속적 감소 추세입니다. 한두 번의 등락은 정상 변동이지만, 3회 이상 연속으로 리프트가 줄어든다면 통제 그룹 오염이나 시장 포화 가능성을 의심해야 합니다. 두 번째 경보는 오디언스 오버랩입니다 — 확장하면서 신규 캠페인이 기존 홀드아웃 그룹과 타겟이 겹치기 시작하면, 통제 그룹에도 광고가 새어 들어가 실험 자체가 무효화됩니다. 세 번째는 사전 안정 기간(2~4주) 데이터가 확장 직후 다시 불안정해지는 경우로, 새 계정·새 픽셀이 추가되며 데이터 수집 자체가 흔들리고 있다는 신호입니다. 이 세 지표(리프트 연속 감소, 오디언스 오버랩 발생 여부, 사전 데이터 안정성 재붕괴)를 확장 직후 2~3주간 집중 모니터링하면, 예산을 더 태우기 전에 측정 설계 문제를 먼저 잡아낼 수 있습니다.

← FAQ 목록으로