들어가며

• 실험 전에 가설·변수·표본·관찰 기간을 미리 적는다
• 실험 결과를 보고 "정말 효과가 있었는지" 판단하는 기준을 안다

상황

가상 브랜드 '한줄커피'의 담당자는 상세페이지 상단 문구를 "매일 아침 신선한 원두"에서 "3일 안에 로스팅한 원두"로 바꾸고 싶습니다. 바꾸자마자 일주일간 주문이 늘어서 "문구를 바꾼 덕분"이라고 결론 내리려 했는데, 같은 주에 마침 다른 채널에서 큰 유입이 있었다는 걸 뒤늦게 알았습니다. 문구 때문인지 유입 때문인지 구분할 수 없게 된 것입니다.

한 줄 결론

바꾸기 전에 무엇을 비교할지 먼저 정해야, 바꾼 뒤에 그 결과를 믿을 수 있습니다.

실험은 결과를 본 다음 이유를 끼워 맞추는 일이 아니라, 시작하기 전에 "무엇을, 어떻게, 얼마나, 언제까지 비교할지"를 정해두고 그 틀 안에서 결과를 읽는 일입니다.

개념

• 가설: "이렇게 바꾸면 이런 결과가 나올 것이다"를 미리 적은 문장입니다. 예: "로스팅 시점을 강조하면 상세페이지 체류 시간이 늘어날 것이다."
• 변수: 이번에 바꾸는 것 딱 하나입니다. 문구와 이미지를 동시에 바꾸면 무엇 때문에 결과가 달라졌는지 알 수 없습니다.
• 표본: 실험에 포함되는 방문자 집단입니다. 너무 적으면 우연한 차이를 효과로 오해할 수 있습니다.
• 관찰 기간: 결과를 판단할 기간을 미리 정하는 것입니다. 하루이틀 만에 결론 내리면 요일별 차이 같은 변수를 놓칩니다.
• 외부 변수: 실험과 무관하게 결과에 영향을 줄 수 있는 것들입니다. 위 상황의 "다른 채널 유입 증가"가 대표적입니다.

판단 기준

실행 순서

1. 확인: 바꾸려는 것 하나를 정하고, 가설·표본·관찰 기간을 실험 전에 문서로 적는다.
2. 결정: 관찰 기간이 끝나면 외부 변수가 겹치지 않았는지 먼저 확인한 뒤, 가설이 맞았는지 판단한다.
3. 기록: 가설이 맞았든 틀렸든 결과와 판단 근거를 남겨, 다음 실험에서 같은 변수를 반복 확인하지 않게 한다.

바로 쓰는 템플릿

실험 설계 카드

• 가설: ________________________
• 바꾸는 것 (변수 1개): ________________________
• 비교 대상: ________________________
• 관찰 기간: ________ ~ ________
• 같은 기간 다른 캠페인 여부: ________________________
• 결과: ________________________
• 가설 채택 여부: ☐ 채택 ☐ 기각 — 근거: ________

즉시 확인

1. 문구와 이미지를 동시에 바꾸면 생기는 문제는? 정답: 무엇 때문에 결과가 달라졌는지 구분할 수 없다 — 변수는 하나로 좁혀야 원인을 확인할 수 있습니다.
2. 실험 결과를 판단하기 전에 반드시 확인해야 할 것은? 정답: 같은 기간에 겹친 외부 변수가 있는지 — 다른 유입 증가 같은 요인이 결과에 섞였을 수 있습니다.
3. 관찰 기간을 너무 짧게 잡으면 생기는 문제는? 정답: 요일이나 시기에 따른 변동을 효과로 착각할 수 있다 — 충분한 기간을 두고 비교해야 합니다.

핵심 정리

1. 실험은 시작 전에 가설·변수·표본·관찰 기간을 정해야 결과를 믿을 수 있다
2. 바꾸는 것은 한 번에 하나로 좁힌다
3. 결과를 판단하기 전에 외부 변수가 겹치지 않았는지 먼저 확인한다

→ 이 강의 퀴즈 풀어보기 (챌린지)