21강에서 실험 후보를 뽑아봤다면, 이제 그 후보를 바로 실행할 수 있는 형태로 다듬을 차례입니다. 다듬는 방법은 복잡하지 않습니다. 아래 네 가지만 순서대로 정하면 됩니다.
네 가지 중 하나라도 정하지 않고 실험을 시작하면 나중에 "그래서 이번 실험, 성공한 거야?"라는 질문에 답하지 못합니다. 매출이 오른 것 같긴 한데 원래도 오르던 시기였는지, 표본이 너무 적어 우연인지 구분이 안 되기 때문입니다.
좋은 가설은 "OO를 OO로 바꾸면, OO 지표가 OO만큼 달라질 것이다" 형태를 갖춥니다. 막연한 기대가 아니라 검증 가능한 문장이어야 한다는 뜻입니다.
좋은 예는 무엇을 바꿨는지(향 지속시간 정보 추가), 어떤 지표로 확인할지(결제완료율)가 다 담겨 있습니다. 실험이 끝난 뒤 이 문장을 다시 읽으면 성공인지 실패인지 바로 판단할 수 있습니다.
21강에서 이미 강조했지만 실험 설계 단계에서 가장 많이 무너지는 원칙이라 한 번 더 짚습니다. 가격도 바꾸고 이미지도 바꾸고 배송 문구도 바꾸면, 매출이 늘어도 무엇 덕분인지 알 수 없습니다. 바쁘다는 이유로 여러 개를 한꺼번에 바꾸고 싶은 유혹이 크지만, 그렇게 하면 다음 실험에 쓸 근거가 남지 않습니다.
여러 요소를 동시에 개선하고 싶다면, 먼저 우선순위를 정해 하나씩 순서대로 실험하는 편이 결과적으로 더 빠릅니다. 24강에서 상세페이지 요소별 우선순위를 정하는 법을 다룹니다.
대형 서비스는 몇 시간 만에 수만 명의 반응을 모을 수 있지만, 월 방문자 3,000명 수준인 글로우캔들 정도라면 그렇지 않습니다. 표본이 적으면 우연히 며칠 잘 팔린 것을 실험 성공으로 착각하기 쉽습니다.
정확한 통계 공식을 따지기보다, 실무에서 흔히 쓰는 현실적인 기준을 참고하는 편이 낫습니다.
이 기준을 못 채우는 상품도 많습니다. 그럴 때는 실험을 포기하는 대신 기간을 늘리거나, 여러 상품(라벤더·우디 등)에 같은 실험을 동시에 적용해 표본을 합치는 방법을 씁니다. 확신이 100%가 아니어도, 감으로 결정하는 것보다는 낫습니다.
21강에서 뽑은 후보 중 상세페이지 실험(향 지속시간 정보 추가)을 예로 들어 설계해보겠습니다.
이렇게 정해두면 2주 뒤 결과를 볼 때 "결제완료율이 올랐는가"라는 한 가지 질문에만 집중해서 판단할 수 있습니다.
아래 템플릿을 실험마다 하나씩 채워 쓰세요. 실험을 새로 벌일 때마다 복사해서 재사용하면 됩니다.
[실험명]
1. 가설
- 무엇을 바꾸는가:
- 어떻게 바꾸는가(A안 vs B안):
- 어떤 지표가 어떻게 달라질 것으로 예상하는가:
2. 변수
- 이번에 바꾸는 단 하나의 요소:
- 그대로 유지하는 요소들:
3. 기간
- 시작일 / 종료일:
- 요일 편차를 없앴는가(7일 단위 여부):
- 다른 프로모션과 겹치지 않는가:
4. 표본
- 목표 결제 건수(버전별):
- 목표 방문자 수(버전별):
- 현재 트래픽으로 이 표본을 채우는 데 걸리는 예상 기간:
5. 판단 기준
- 어떤 결과가 나오면 "성공"으로 볼 것인가:
- 어떤 결과가 나오면 "차이 없음"으로 보고 다음 실험으로 넘어갈 것인가:
23강. 가격 실험: 할인율·묶음가·심리적 가격 설계에서 방금 정한 실험 설계 틀을 가격 실험에 그대로 적용해봅니다.