실험 설계 및 판정 기준: 무료 체험 유저 대상 인앱 팝업 메시지 노출 시점 변경(로그인 즉시 vs 특정 기능 사용 후)에 따른 최종 결제 전환율 유의성 검증

이 레슨에서 다루는 실험은 레슨 4에서 설계한 인앱 넛지의 노출 '시점'을 두 가지로 나눠 비교하는 것입니다 — 로그인 직후 즉시 팝업을 노출하는 그룹(A)과, 사용자가 특정 기능을 실제로 써본 이후에 팝업을 노출하는 그룹(B)입니다. 두 그룹의 차이는 넛지의 내용이 아니라 '언제 보여주는가'라는 타이밍 변수 하나로 한정해야, 결과 차이를 그 변수의 효과로 해석할 수 있습니다. 넛지 문구까지 함께 바꾸면 어떤 변화가 전환율 차이를 만들었는지 구분할 수 없게 됩니다.

이 실험의 최종 판정 지표는 무료 체험 유저의 최종 결제 전환율입니다. 중간 지표(팝업 클릭률 등)가 좋아 보여도 최종 결제로 이어지지 않으면 실무적으로 의미가 없기 때문에, 실험 설계 단계에서부터 판정 기준을 최종 결제 전환율로 명확히 고정해두어야 합니다.

실험을 시작하기 전에 신규 가입자를 무작위로 두 그룹에 배정해야 합니다. 무작위 배정이 중요한 이유는, 만약 특정 시기에 가입한 사용자에게만 그룹 A를, 다른 시기에 가입한 사용자에게만 그룹 B를 적용하면 그 시기 차이(예: 마케팅 캠페인 유무, 계절성)가 결과에 섞여 들어가 순수하게 노출 시점의 효과만 분리해낼 수 없기 때문입니다. 같은 기간 동안 신규 가입자를 동시에 두 그룹으로 나눠야 이런 외부 요인의 영향을 통제할 수 있습니다.

또한 표본 크기를 실험 시작 전에 미리 가늠해두어야 합니다. 표본 크기가 작은 코호트(가입자 수가 적은 초기 서비스)는 카이제곱 검정으로도 유의한 차이를 잡아내기 어렵습니다. 정확한 필요 표본 수는 통계 도구(검정력 계산기)로 별도 산출해야 하며, 이 레슨에서 특정 표본 수를 고정값으로 제시하기는 어렵습니다 — 실험 설계 단계에서 기존 전환율 데이터를 바탕으로 직접 계산해야 합니다.

온보딩 변경 전후의 결제 전환 차이가 우연이 아니라 통계적으로 유의한지 검증할 때는 카이제곱(Chi-squared, χ²) 검정을 주로 씁니다. 두 그룹(A/B)의 '전환 vs 미전환' 인원수를 2x2 표로 만들어 p-value를 계산하는 방식입니다. 이 방식은 전환 여부처럼 결과가 두 범주(했다/안 했다)로 나뉘는 비율 데이터를 비교할 때 표준적으로 쓰이는 검정법입니다.

p-value가 사전에 정한 유의수준(일반적으로 0.05)보다 작게 나오면, 두 그룹 간 전환율 차이가 우연히 발생했을 가능성이 낮다고 판정하고 그 차이를 실제 효과로 받아들입니다. 반대로 p-value가 유의수준보다 크면, 관측된 차이가 우연의 범위 안에 있다고 보고 "노출 시점을 바꿔도 유의미한 차이가 없다"고 결론짓습니다. 이 판정 기준을 실험 시작 전에 미리 정해두지 않고, 결과를 보고 나서 유의수준을 조정하는 것은 통계적으로 부정확한 판단으로 이어질 수 있습니다.

특정 시점(예: 실험 시작 후 7일)만 비교하면 다른 시점(예: 30일)에서 결과가 뒤집히는 경우가 있어, 단일 시점 비교보다 전체 곡선(또는 생존분석 기법인 Kaplan-Meier 곡선)을 함께 봐야 한다는 지적이 있습니다. 이 원칙은 결제 전환 실험에도 그대로 적용됩니다 — 로그인 직후 노출한 팝업이 초기(가입 후 7일 내)에는 전환율이 높아 보였다가, 30일 시점에서는 오히려 특정 기능 사용 후 노출한 그룹의 누적 전환율이 더 높아지는 역전 현상이 생길 수 있습니다.

이런 역전을 놓치지 않으려면 실험 결과를 단일 시점의 스냅샷으로만 보지 않고, 시간에 따른 누적 전환율 추이를 함께 관찰하는 것이 안전합니다. 실험 종료 시점을 너무 짧게 잡으면 이런 장기 역전 패턴 자체를 관찰할 기회조차 없이 결론을 내리게 되는 위험이 있습니다.

통계적으로 유의하다는 결과가 나왔다고 해서 그 차이가 실무적으로 도입할 만큼 큰 것은 아닙니다. 표본이 매우 크면 실제로는 미미한 차이(예: 전환율 0.1%p 차이)도 통계적으로 유의하다는 결과가 나올 수 있습니다. 유의성이 확인된 이후에는 그 효과 크기가 실제로 그룹 B 방식으로 전환할 만한 가치가 있는지(개발·운영 비용 대비 전환율 개선 폭이 충분한지)를 별도로 판단해야 합니다.

이 판단에는 레슨 8에서 다룬 실패 사례처럼, 노출 시점을 바꾸는 것이 다른 지표(예: 초기 이탈률)에 부작용을 일으키지 않는지도 함께 확인하는 과정이 포함돼야 합니다. 결제 전환율만 개선되고 초기 이탈률이 악화된다면, 그 실험 결과를 전체 그림 안에서 다시 판단해야 합니다. 예를 들어 로그인 즉시 팝업을 노출하는 방식이 전환율은 소폭 높이면서도 첫 세션 이탈률을 함께 끌어올린다면, 이는 레슨 8에서 다룬 '페이월을 너무 이르게 거는' 실패와 유사한 부작용으로 봐야 하며 단순히 전환율 숫자만으로 채택 여부를 결정해서는 안 됩니다.