← 라이브러리 01 퍼포먼스 마케팅의 성장을 이끄는 실험 정신: 가설 수립, 통계적 유의성(Statistical Significance)의 개념과 A/B 테스트의 기본 원리 "바꿨더니 좋아진 것 같다"는 느낌과 "실제로 개선됐다"는 사실 사이의 거리를 메워주는 것이 A/B 테스트입니다. 1건 출처 02 가설 설정의 정석: "상세페이지를 고치면 매출이 오를 것이다" 대신 "상세페이지 상단에 리뷰 평점을 배치하면 구매 전환율이 15% 상승할 것이다" 막연한 가설로 시작한 실험은 결과가 나와도 "그래서 뭘 배웠나"라는 질문에 답하지 못한 채 끝나는 경우가 많습니다. 1건 출처 03 표본 크기(Sample Size) 계산 기술: 실험 결과가 우연이 아님을 증명하기 위해 테스트 전 확보해야 할 최소 방문자 수 및 기간 산정 공식 실험 이틀 만에 "B안이 이겼다"고 선언하고 싶은 마음이 들 때마다, 표본 크기 계산부터 다시 확인해야 사고를 막을 수 있습니다. 1건 출처 04 웹사이트 단의 A/B 테스트 툴 활용: 구글 옵티마이즈 종료 이후 대안 툴(VWO, Optimizely, 아임웹 내부 실험 기능) 선택 및 스크립트 연동 무료로 GA4와 바로 연동되던 구글 옵티마이즈가 사라진 뒤, 많은 팀이 "이제 뭘 써야 하나"라는 질문 앞에서 멈춰서 있습니다. 2건 출처 05 변수 격리 통제의 원칙: A안과 B안을 테스트할 때 디자인, 카피, 프로모션 중 딱 '한 가지 요소'만 변경하여 실험 오염 원천 차단하기 디자인도 바꾸고 카피도 바꾸고 프로모션 문구까지 함께 바꾼 뒤 성과가 좋아졌다면, 정확히 무엇 덕분인지는 영원히 알 수 없게 됩니다. 1건 출처 06 통계적 유의수준(p-value) 해석하기: 실험 종료 후 p-value 값이 0.05 미만인지를 확인하여 승리(Winner) 시안을 최종 채택하는 데이터 판정법 p-value가 정확히 무엇을 의미하는지 모른 채 "0.05보다 작으니 이겼다"는 말만 반복하고 있다면, 정작 결과를 잘못 해석하고 있을 위험이 있습니다. 1건 출처 07 메타/구글 광고 단의 크리에이티브 A/B 테스트: 매체 자체 '대조 실험' 기능을 활용해 타겟 모수를 정확히 5:5 반반 분할하여 소재 효율 검증 같은 캠페인 안에 소재 두 개를 넣고 "자동으로 알아서 잘 나오는 놈이 이기겠지"라고 생각한다면, 그건 A/B 테스트가 아니라 그냥 자동 최적화입니다. 1건 출처 08 랜딩페이지 카피 vs 비주얼 실험 케이스 스터디: 텍스트 타이틀 문구를 바꾼 시안과 메인 제품 이미지를 바꾼 시안의 최종 회원가입률 승패 도출 같은 랜딩페이지를 놓고도 "카피가 문제다"와 "이미지가 문제다"라는 의견이 팀 안에서 갈릴 때, 실험만이 논쟁을 끝낼 수 있습니다. 1건 출처 09 트러블슈팅: 실험 도중 외부 변수(갑작스러운 대형 연예인 이슈, 네이버 메인 노출 등)로 트래픽이 튀었을 때 실험 데이터 리셋 및 재실험 가이드 한창 진행 중이던 실험 도중 서비스가 갑자기 커뮤니티에서 화제가 되어 트래픽이 열 배로 튀었다면, 그 데이터를 그대로 실험 결과에 포함시켜서는 안 됩니다. 1건 출처 10 다변량 테스트(MVT: Multivariate Testing)의 개념: 두 가지 이상의 변수 조합을 동시에 실험할 때 필요한 트래픽 볼륨 마지노선과 세팅법 헤드라인 3종과 이미지 3종을 동시에 다 궁금해한다고 해서, 트래픽이 부족한 상태에서 다변량 테스트를 무작정 시작하면 몇 달이 지나도 결론이 안 나올 수 있습니다. 1건 출처 11 마케팅 실험 백서(Archive) 구축: 역대 진행된 A/B 테스트 가설, 시안 이미지, 결과 지표, 인사이트를 문서화하여 팀 내 실패 비용 줄이기 작년에 이미 실패한 것으로 검증된 아이디어를, 담당자가 바뀌었다는 이유로 올해 또다시 실험하고 있다면 그건 실험이 아니라 시간 낭비의 반복입니다. 1건 출처