12CODE

MKT FAQ

MKT FAQ 분석·실험·성과개선

증분 효과 실험이 기대보다 낮을 때 예산을 줄이기 전 어떤 진단을 먼저 해야 하나요?

이런 질문도 같은 답입니다: 증분 효과 실험 예산 줄이기 전 진단 · 증분 효과 실험 성과 하락 원인

답변

성과가 기대보다 낮을 때 예산부터 줄이면, 진짜 원인(구조적 문제)이 아니라 일시적 요인(계절성·입찰 경쟁 심화·소재 피로도)까지 함께 잘라내는 실수를 할 수 있다. 먼저 퍼널을 노출→클릭→랜딩→전환 단계별로 쪼개 어느 단계에서 이탈이 늘었는지부터 확인해야 한다. 각 단계 하락의 원인을 소재 요인(CTR 하락=소재 피로도), 타겟 요인(빈도 상승·중복타겟), 시장 요인(입찰가 상승·경쟁사 신규진입), 측정 요인(태그 오류·전환 윈도우 변경) 네 카테고리로 나눠 하나씩 배제한 뒤, 그래도 설명 안 되는 하락분만 실제 채널 효율 저하로 판단해 예산 조정 여부를 결정한다. 증분 효과가 기대보다 낮게 나왔다면, 채널 효율이 실제로 떨어진 것인지 테스트 설계 문제(표본 부족으로 검정력이 낮아 실제 효과를 탐지하지 못함, 관측 기간이 짧아 지연 전환을 놓침, 통제군 오염)인지부터 구분해야 한다. 최소 탐지가능효과(MDE)보다 실제 효과가 작았을 뿐 진짜 0은 아닐 수 있다.

← FAQ 목록으로