이 과정에서 통계적 유의성 검정을 수식으로 계산하는 방법까지 다루지는 않습니다. 대신 실무에서 바로 쓸 수 있는 조심스러운 접근 방식을 소개합니다.

표본 크기를 먼저 본다: 각 그룹이 최소 수십 명 이상은 되어야 그나마 차이를 신뢰할 수 있습니다. 그룹당 10~20명 수준의 차이는 우연일 가능성을 항상 열어둡니다.
차이의 크기를 본다: 12퍼센트와 14퍼센트처럼 근소한 차이보다, 12퍼센트와 20퍼센트처럼 크게 벌어진 차이일수록 우연이 아닐 가능성이 높습니다.
반복 재현을 본다: 한 번의 테스트 결과만으로 확정하지 않고, 다음 발송 주기에 같은 실험을 한 번 더 돌려 비슷한 방향의 결과가 다시 나오는지 확인합니다. 두 번 연속 같은 방향이 나온다면 우연일 가능성이 크게 줄어듭니다.

정확한 통계 검정이 가능한 환경(데이터 분석 담당자나 도구가 있는 경우)이라면 그 방법을 쓰는 것이 더 정확하지만, 그렇지 않은 상황이라도 위 세 가지만 지켜도 성급한 결론을 피할 수 있습니다.