A/B 테스트 방법론

A/B 테스트는 기존안(A, 대조군)과 변경안(B, 실험군)을 동시에 무작위로 나눈 두 그룹에 노출시켜, 특정 목표 지표(전환율 등)의 차이가 우연이 아니라 실제 변경으로 인한 것인지를 통계적으로 검증하는 실험 방법이다.

좋은 A/B 테스트 가설은 '무엇을 바꾸면 왜 어떤 지표가 얼마나 바뀔 것이다'라는 구체적 형태로 작성해야 한다(예: '상세페이지 상단에 리뷰 평점을 배치하면 구매 전환율이 15% 상승할 것이다'). '상세페이지를 개선하면 매출이 오를 것이다'처럼 막연한 가설은 실험 성공·실패를 판정할 기준 자체가 모호해진다.

표본 크기(샘플 사이즈)는 기준 전환율, 검출하고자 하는 최소 효과 크기(MDE), 유의수준(보통 95%), 검정력(보통 80%)을 입력해 사전에 계산하며, 이 값에 도달하기 전에 중간 결과만 보고 실험을 조기 종료하면 통계적으로 유의미하지 않은 결론을 채택할 위험이 커진다.

구글 옵티마이즈(Google Optimize)는 2023년 9월 30일부로 서비스가 종료됐으며, 이후 웹사이트 A/B 테스트는 VWO·Optimizely 같은 유료 SaaS 툴이나 각 CMS·쇼핑몰 솔루션에 내장된 자체 실험 기능으로 대체해야 한다.

유효한 A/B 테스트는 A안과 B안 사이에 변경 요소를 하나로 한정해야 하며, 디자인·카피·프로모션 등 여러 요소를 동시에 바꾸면 어떤 요소가 결과 차이를 만들었는지 특정할 수 없게 된다(변수 격리 원칙).

실험 결과의 통계적 유의성을 판단할 때 관행적으로 p-value(유의확률) 0.05 미만을 '통계적으로 유의미하다'고 보는 기준으로 널리 사용하며, 이는 결과가 우연히 발생했을 확률이 5% 미만이라는 뜻이다. 다만 0.05라는 기준값 자체는 관행이지, 절대적 진리는 아니다.

메타 광고 관리자와 구글 애즈는 자체적으로 '분할 테스트(A/B 테스트)' 기능을 제공해, 타겟 모수를 정확히 지정한 비율(예: 50:50)로 나눠 동일 조건에서 소재·타겟팅·입찰전략의 효과를 비교할 수 있게 한다.

다변량 테스트(MVT)는 두 가지 이상의 변수(예: 헤드라인과 이미지)를 동시에 여러 조합으로 실험하는 방식으로, 조합의 수가 늘어날수록(예: 헤드라인 3종×이미지 3종=9개 조합) 각 조합에 배분되는 트래픽이 줄어들어 통계적으로 유의미한 결과를 얻기 위해 A/B 테스트보다 훨씬 많은 트래픽 볼륨이 필요하다.

실험 도중 예기치 못한 외부 변수(대형 이슈, 포털 메인 노출, 프로모션 등)로 트래픽 패턴이 급변하면 실험 결과가 오염될 수 있으며, 이런 경우 해당 기간 데이터를 제외하거나 실험을 재시작하는 것이 일반적인 대응 방법이다.