두 문구 중 무엇이 낫다는 정답이 있나

없습니다. 구매하기와 지금 담기 중 어느 쪽이 전환율을 높이는지에 대한 표준 결과는 존재하지 않습니다. 이 값은 상품 가격대, 재구매 주기, 트래픽의 구매 의도에 따라 뒤집히는 값이기 때문입니다.

더 근본적인 문제는 두 문구가 요구하는 행동 자체가 다르다는 점입니다. 구매하기는 결제 화면으로 바로 넘기는 문구이고, 지금 담기는 장바구니에 넣고 탐색을 이어 가게 하는 문구입니다. 하나는 즉시 결제를, 다른 하나는 여러 개 묶어 사는 흐름을 만듭니다. 그래서 이 실험은 문구 비교라기보다 구매 흐름 비교에 가깝습니다.

같은 지표로 비교하면 왜 결론이 왜곡되나

버튼 클릭률만 보면 대개 담기 쪽이 유리하게 나옵니다. 심리적 부담이 적은 행동이기 때문입니다. 반대로 결제 완료까지의 전환율만 보면 즉시 결제 쪽이 유리하게 나오기 쉽습니다. 중간 단계가 하나 적기 때문입니다.

그래서 이 실험에서 봐야 할 지표는 세 층입니다. 첫째, 버튼 클릭률입니다. 둘째, 세션당 결제 완료율입니다. 셋째, 객단가입니다. 담기 문구가 클릭률과 객단가는 올리고 즉시 결제율은 낮췄다면 총 매출로 판정해야 합니다. 지표 하나만 놓고 승패를 정하는 것이 이 주제에서 가장 흔한 해석 오류입니다.

실험을 시작하기 전에 정해야 할 것은 무엇인가

세 가지를 미리 확정합니다. 첫째, 주요 지표 하나와 보조 지표를 구분합니다. 나중에 유리한 지표를 골라 승리를 선언하는 일을 막기 위해서입니다. 둘째, 표본 크기입니다. 기준 전환율과 검출하려는 최소 효과 크기, 유의수준, 검정력을 넣어 사전에 계산합니다.

셋째, 종료 조건입니다. 계산한 표본에 도달하기 전에 중간 결과만 보고 실험을 조기 종료하면 통계적으로 유의미하지 않은 결론을 채택할 위험이 커집니다. 실험 시작 후 초기 며칠은 편차가 크므로 제외하는 것이 일반적입니다. 구글 애즈 실험도 시작 후 처음 7일간의 데이터를 통계 계산에서 제외하고, 고객센터 FAQ는 최소 4에서 6주 진행을 권장합니다.

유효한 실험이 되려면 무엇을 고정해야 하나

변경 요소를 하나로 한정해야 합니다. 문구를 바꾸면서 버튼 색상이나 위치, 크기까지 함께 바꾸면 어떤 요소가 결과 차이를 만들었는지 특정할 수 없게 됩니다. 문구만 바꾸는 실험이라면 폰트 크기와 버튼 폭까지 동일하게 맞춰야 합니다.

기간 중 외부 변수도 관리 대상입니다. 대형 이슈나 포털 노출, 프로모션으로 트래픽 패턴이 급변하면 결과가 오염됩니다. 이런 경우 해당 기간 데이터를 제외하거나 실험을 재시작하는 것이 일반적인 대응입니다. 실험 캘린더에 프로모션 일정을 미리 표시해 두면 이 문제를 상당 부분 피할 수 있습니다.

결과가 유의하지 않게 나오면 어떻게 읽나

유의하지 않다는 것은 효과가 없다는 뜻이 아니라, 이 데이터로는 차이를 판정할 수 없다는 뜻입니다. 구글 애즈는 결과가 유의하지 않은 원인으로 네 가지를 안내합니다. 실험이 충분한 기간 진행되지 않음, 캠페인 트래픽 자체가 부족함, 트래픽 분할 비율이 너무 작아 실험 쪽 트래픽이 부족함, 그리고 적용한 변경사항이 실제로 유의미한 차이를 만들지 않음입니다.

앞의 세 가지라면 실험 설계를 고쳐 다시 하면 되고, 네 번째라면 문구는 이 페이지에서 중요한 변수가 아니라는 정보를 얻은 것입니다. 후자도 성과입니다. 문구를 계속 만지는 대신 다른 개선 후보로 넘어갈 근거가 되기 때문입니다. 유의성 판단에는 p값 0.05 미만이 관행적으로 쓰이지만 이 기준값 자체는 관행이지 절대적 진리가 아니라는 점도 함께 기억해 두는 편이 좋습니다.

이긴 문구를 바로 전면 적용해도 되나

바로 적용하기 전에 두 가지를 확인합니다. 첫째, 상품군과 가격대별로 결과가 갈리는지입니다. 저가 소모품에서 이긴 문구가 고가 상품에서도 이긴다는 보장이 없습니다. 세그먼트를 잘게 쪼갤수록 표본이 줄어 유의성 확보가 어려워지므로, 두 개 정도로만 나눠 방향을 확인하는 정도가 현실적입니다.

여기서 하나 덧붙일 것이 다변량 테스트의 유혹입니다. 문구와 색상, 위치를 한 번에 여러 조합으로 실험하면 빨리 답이 나올 것 같지만 실제로는 반대입니다. 조합 수가 늘어날수록 각 조합에 배분되는 트래픽이 줄어, 유의미한 결과를 얻는 데 A/B 테스트보다 훨씬 많은 트래픽이 필요합니다. 자사몰 규모에서는 대개 감당하기 어려운 조건입니다.

둘째, 도구 환경입니다. 구글 옵티마이즈가 2023년 9월 30일부로 종료된 이후 웹사이트 A/B 테스트는 유료 도구나 쇼핑몰 솔루션 내장 실험 기능으로 해야 합니다. 도구가 없어 전후 비교로 진행했다면 결론의 확실성이 낮으므로, 전면 적용보다 단계적 적용 후 재확인이 안전합니다.