정확한 통계적 유의성 계산은 이 과정의 범위를 벗어나지만, 실무에서 감을 잡는 기준은 이렇습니다.

기간: 최소 3~7일. 요일에 따라 고객 반응이 다를 수 있어 하루이틀만 보면 왜곡될 수 있습니다.
표본(노출 수 또는 클릭 수): 채널마다 다르지만, 클릭 수 기준으로 A안과 B안 각각 최소 수십 건 이상 쌓인 뒤에 비교하는 걸 권합니다. 클릭이 몇 건 안 되는 상태에서 "B안이 2배 좋다"고 판단하면 우연일 가능성이 큽니다.
예산: A안과 B안에 동일한 예산을 배분해야 공정한 비교가 됩니다. 한쪽에 예산을 더 태우면 노출 수 자체가 달라져 비교가 왜곡됩니다.

표본이 충분히 쌓이지 않았는데 결과를 서둘러 판단하고 싶은 유혹이 들 수 있습니다. 그럴 때는 "지금은 판단 보류, 며칠 더 지켜보자"로 넘어가는 것이 그 자체로 올바른 판단입니다.