답변
랜딩페이지 실험 로드맵의 실험군·대조군 설계에서 통계적 오류가 생기는 건 대부분 "그럴듯해 보이는" 설계가 실제로는 원인을 특정할 수 없는 구조이기 때문입니다. 실험군·대조군을 설계할 때 가장 흔한 통계적 오류는 한 번에 여러 변수를 동시에 바꾸는 것이다. 변수를 하나씩만 바꿔야 결과 차이의 원인을 그 변수 하나로 특정할 수 있고, 여러 축을 동시에 바꾸면 어느 쪽이 승패를 갈랐는지 설명할 수 없는 데이터가 된다. 실험 전에 표본 크기와 필요 기간을 사전에 계산해야 한다. 트래픽이 적은 계정·사이트는 통계적으로 유의미한 표본을 채우는 데 걸리는 기간까지 함께 계산해야 그 실험이 현실적으로 가능한지 판단할 수 있고, 실험 도중 외부 변수(대형 이슈, 시즌성 트래픽 폭증)로 오염된 기간의 데이터는 제외하거나 심하면 실험 자체를 재시작해야 한다. 카피 실험(헤드라인·서브카피의 메시지 설득력 검증)과 비주얼 실험(이미지·영상이 시선을 끌고 신뢰를 주는지 검증)은 서로 다른 질문에 답하므로 동시에 섞지 말고 순차로 설계해야 한다. 표본 크기와 기간은 사전에 계산하고, 실험 도중 외부 이슈로 트래픽이 튀어 오염된 기간의 데이터는 제외하거나 실험을 재시작해야 한다. 이 원칙을 지키면 실험 결과가 나왔을 때 "그래서 뭐가 원인이었는지"를 자신 있게 설명할 수 있습니다.