답변
크리에이티브 테스트 체계에서는 표본이 통계적 유의성에 도달하기 전에 성과가 낮다고 판단해버리는 게 가장 흔한 실수입니다. 성과가 기대보다 낮다고 곧바로 예산부터 줄이기 전에, ① 전환 측정(픽셀·태그)이 정상 작동하는지 ② 타겟팅이 실제 대상과 맞는지 ③ 소재 피로도(빈도 상승·CTR 하락)가 원인인지 ④ 랜딩 경험(속도·이탈 지점)이 발목을 잡는지 ⑤ 예산 자체가 학습에 필요한 최소 볼륨에 못 미치는지 순서로 원인을 좁혀야 한다. CPM·CPC(상단) → CTR(중단) → CVR·CPA(하단) → ROAS(최종) 순서의 퍼널 구조로 어느 단계에서 막히는지부터 확인하는 게 먼저다. 예산을 진단 없이 급격하게(예: 한 번에 50% 이상) 줄이면 매체 학습 알고리즘의 학습 기간이 다시 리셋돼 입찰이 불안정해지고 CPM·CPA가 일시적으로 튀어 오히려 단기 효율이 더 나빠질 수 있다. 조정이 필요하더라도 단계적으로 줄이는 편이 안전하다. 퍼널 성과가 나쁠 때 가장 먼저 점검하고 바꿔야 할 것은 병목으로 지목된 단계의 실행 요소(소재·타겟·랜딩페이지 UX)입니다. 반대로 성급하게 바꾸면 안 되는 것은 전환 정의나 측정 기준(어떤 행동을 전환으로 볼지) 그 자체입니다. 측정 기준을 자주 바꾸면 개선 여부를 판단할 비교 기준이 사라집니다. 크리에이티브 A/B 테스트에서 통계적 유의성은 성과 차이가 우연이 아니라 실제 효과일 확률을 뜻하고, p-value가 낮을수록(예: 0.05 미만) 우연이 아닐 가능성이 높다는 뜻이다. 신뢰도가 충분히 쌓이기 전에 결과를 조기 판단(peeking)하면 우연한 차이를 진짜 차이로 오판(false positive)하는 확률이 커진다. 이 순서를 건너뛰고 예산부터 줄이면, 진짜 원인은 그대로 둔 채 전체 성과만 함께 줄어드는 결과로 이어지기 쉽습니다.