명절·선물세트 판매의 변경 효과를 판단하려면 어느 정도 기간과 주문 데이터를 모아야 하나요?

결과를 우연이 아니라고 확신하려면 미리 계산한 최소 표본(주문 수)에 도달할 때까지 기다리셔야 합니다. 표본 크기는 기준 전환율, 검출하려는 최소 효과 크기, 유의수준, 검정력을 넣어 테스트 시작 전에 계산해두는 게 정석이고, 검출하려는 효과 크기가 작을수록 필요한 표본은 훨씬 커집니다.

이 기준에 도달하기 전에 중간 결과만 보고 조기에 판단을 내리면, 실제로는 우연한 변동인데 효과가 있다고(또는 없다고) 잘못 결론 내릴 위험이 커집니다.

주문 빈도가 낮은 이니셔티브는 표본이 모이는 데 시간이 오래 걸리므로, 최소 2~4주 단위로 끊어서 보시되 요일별·주별 변동(월급날, 주말)까지 포함되도록 기간을 잡으시는 게 안전합니다. 그리고 그 기간 내내 다른 변수(다른 프로모션 동시 진행, 광고 예산 변경)를 함께 바꾸지 않으셔야 이번 변경만의 효과인지 구분할 수 있습니다.