가설: "이렇게 바꾸면 이런 결과가 나올 것이다"를 미리 적은 문장입니다. 예: "로스팅 시점을 강조하면 상세페이지 체류 시간이 늘어날 것이다."
변수: 이번에 바꾸는 것 딱 하나입니다. 문구와 이미지를 동시에 바꾸면 무엇 때문에 결과가 달라졌는지 알 수 없습니다.
표본: 실험에 포함되는 방문자 집단입니다. 너무 적으면 우연한 차이를 효과로 오해할 수 있습니다.
관찰 기간: 결과를 판단할 기간을 미리 정하는 것입니다. 하루이틀 만에 결론 내리면 요일별 차이 같은 변수를 놓칩니다.
외부 변수: 실험과 무관하게 결과에 영향을 줄 수 있는 것들입니다. 위 상황의 "다른 채널 유입 증가"가 대표적입니다.