답변
먼저 전제를 바로잡아야 합니다. 체류 시간 증가가 곧 구매 전환 증가를 의미하지는 않습니다 — 체류 시간이 늘어난 게 콘텐츠에 몰입해서인지, 반대로 궁금한 정보를 못 찾아 헤매서인지 체류 시간 하나만으로는 구분할 수 없기 때문입니다. 그래서 동영상 리뷰 도입 효과를 검증하려면 체류 시간을 단독 지표로 보지 말고, 반드시 구매 전환율이라는 최종 지표와 함께 봐야 합니다. 격리 분석은 '도입 전후 단순 비교'가 아니라 A/B 테스트로 해야 정확합니다. 같은 기간 동일 트래픽을 절반으로 나눠 한쪽에는 동영상 리뷰를 노출하고 다른 쪽에는 기존 텍스트·이미지 리뷰만 노출하는 방식으로 설계하세요. '도입 전후' 단순 비교는 계절성·트래픽 소스 변화 같은 다른 요인이 섞여서 순수한 동영상 리뷰의 효과를 격리할 수 없습니다. 동일 시점에 두 그룹을 나눠 비교해야 인과관계를 검증할 수 있습니다. 실험을 시작하기 전에 가설부터 명확하게 세우세요. '동영상 리뷰를 상세페이지에 도입하면 구매 전환율이 X% 상승할 것이다'처럼 무엇을 바꾸는지·왜 효과가 예상되는지·어떤 지표가 얼마나 바뀔지를 담아 사전에 문서로 기록하고, 실험 중간에 임의로 지표를 바꾸지 않아야 합니다. 목표 수치(X%)는 근거 없이 임의로 잡지 말고, 과거 유사 시책의 개선폭이나 업계 공개 사례를 참고해서 현실적인 범위로 설정해야 표본 크기 계산과 결과 해석이 명확해집니다.