답변
증분 효과 실험의 핵심 지표는 증분 매출·전환(시책군과 대조군의 성과 차이)과 증분 ROAS(iROAS, 증분 매출을 그 시책 비용으로 나눈 값)이고, 보조 지표는 통계적 유의성(표본이 충분해 이 차이가 우연이 아니라고 말할 수 있는지)이다. 유의성 확인 없이 증분 수치만 보면 표본이 작아 우연히 벌어진 차이를 실제 효과로 오판할 수 있다. 성과 판단 지표는 핵심 지표(그 이니셔티브가 직접 달성하려는 목적을 보여주는 1~2개)와 보조 지표(핵심 지표를 끌어올리는 과정에서 생기는 부작용·건강도를 보여주는 지표)를 함께 봐야 한다. 핵심 지표만 보면 단기 성과는 오르지만 이탈·피로도가 함께 악화되는 착시를 못 잡는다. 증분 효과 실험는 특히 이 원칙이 중요합니다 — 핵심 지표만 개선하려다 보조 지표가 무너지는 사례가 흔합니다. 실험을 설계할 때 최소 표본수와 실험 기간을 사전에 계산해두면, 나중에 "차이가 우연인지 진짜 효과인지" 논쟁을 줄일 수 있습니다.