답변
구매여정이 긴 상품은 A/B테스트 설계 자체를 다르게 접근해야 합니다. 먼저 이유부터 설명드리면, 표본 크기는 기준 전환율·검출하려는 최소 효과 크기·유의수준·검정력을 입력해 사전에 계산하는데, 이 계산 없이 임의로 테스트를 종료하면 우연을 실제 효과로 오판할 위험이 커집니다. 구매여정이 긴 상품은 하루 방문자 수 대비 최종 구매 전환수 자체가 적어서, 통계적 유의성을 확보하는 데 필요한 기간이 훨씬 길어집니다. 그래서 '최종 구매'만을 성공 지표로 삼으면 결과를 보기까지 너무 오래 걸립니다. 대신 위시리스트 추가, 장바구니 담기, 상세페이지 특정 구간(리뷰·상세정보) 스크롤 완료율, 재방문율 같은 '구매에 선행하는 중간 신호(마이크로 전환)'를 1차 판정 지표로 삼고, 최종 구매전환은 장기 추적 지표로 병행하는 이중 트랙 설계를 권합니다. 어디를 테스트할지 정할 때는 고객여정지도(CJM) 관점에서 접근하시길 권합니다. 기능보다 고객의 감정이 더 중요한데, 각 접점에서 고객이 느끼는 만족도·좌절감의 곡선을 미리 파악해 이탈이 집중되는 구간(페인포인트)부터 테스트 우선순위로 삼는 게 무작정 전체를 바꿔보는 것보다 효율적입니다. 마지막으로 실행 원칙은, A안과 B안 사이에 변경 요소를 하나로 한정하셔야 합니다. 디자인·카피·프로모션 등 여러 요소를 동시에 바꾸면 어떤 요소가 결과 차이를 만들었는지 알 수 없는데, 상세페이지처럼 요소가 많은 화면일수록 이 원칙을 지키는 게 특히 중요합니다.