실험 설계 기반 검증: 리텐션 개선 온보딩 UI 적용 전 코호트 기수 데이터 vs 적용 후 코호트 기수 데이터의 30일 잔존율 수치 통계적 유의성 검증

온보딩 UI를 바꾸고 한 달 뒤 30일 잔존율이 올랐다는 결과를 보면 바로 "개선 성공"이라 결론짓고 싶어집니다. 하지만 이 방식에는 함정이 있습니다. 두 코호트는 시기가 다르기 때문에, UI 변경 외에도 계절성, 동시에 진행된 다른 캠페인, 유입 채널 비중 변화 등 다른 변수가 함께 섞여 있을 수 있습니다. 이 경우 리텐션이 올랐다고 해서 그게 온보딩 UI 덕분인지, 다른 요인 덕분인지 구분할 수 없습니다. 게다가 코호트별 표본 수가 적으면 우연한 변동만으로도 몇 %p 차이는 얼마든지 발생할 수 있어, 시각적으로 그래프가 올라갔다는 것만으로는 통계적 근거가 되지 못합니다.

온보딩 변경 전후의 리텐션 차이가 우연이 아니라 통계적으로 유의한지 검증할 때는 카이제곱(Chi-squared, χ²) 검정을 주로 씁니다. 두 코호트(적용 전과 적용 후)의 'N일차 잔존 vs 이탈' 인원수를 2x2 표로 만들어 p-value를 계산하는 방식입니다. 예를 들어 적용 전 코호트 1,000명 중 200명이 Day30에 잔존, 800명이 이탈했고 적용 후 코호트 1,000명 중 230명이 잔존, 770명이 이탈했다면, 이 표를 카이제곱 검정에 넣어 이 30명 차이가 우연히 발생할 확률(p-value)을 계산합니다. p-value가 통상적인 기준(0.05)보다 작으면 우연이 아니라 실제 차이로 볼 수 있다고 해석합니다.

Spotify가 서로 다른 온보딩 플로우를 테스트했을 때, 한 변형이 7일 리텐션은 더 좋았지만 30일 리텐션은 더 나빴던 사례가 있습니다. 전체 곡선을 시각화하지 않았다면 잘못된 승자를 선택했을 것이라는 지적이 나온 것도 이 때문입니다. 이는 Day30 한 시점만 비교하는 전통적 A/B 테스트 방식의 한계를 보여줍니다. 특정 시점만 보면 그 시점에서는 이겼지만 다른 구간에서는 지고 있는 변형을 놓칠 수 있으므로, 가능하면 Day1부터 Day30까지 전체 리텐션 커브를 겹쳐 그려 어느 구간에서 어떤 방향으로 차이가 나는지 함께 확인해야 합니다.

표본이 작은 코호트는 실제로 유의미한 차이가 있어도 통계적으로는 유의하지 않게 나올 수 있습니다(검정력 부족). 하루 가입자가 수십 명 수준인 초기 서비스에서 온보딩 UI를 바꾸고 곧바로 유의성 검정을 해보면, 실제 개선 효과가 있어도 p-value가 기준을 넘지 못해 "차이 없음"으로 잘못 결론 내릴 위험이 있습니다. 이런 상황에서는 검증을 서두르기보다 표본이 충분히 쌓일 때까지(또는 여러 주에 걸쳐 데이터를 누적할 때까지) 판정을 유보하는 것이 안전합니다. 급하게 결론을 내리고 잘못된 방향으로 온보딩을 다시 바꾸면, 실제로는 있었던 개선 효과까지 되돌리는 결과가 될 수 있습니다.

가능하다면 시간차를 두고 전후를 비교하는 대신, 같은 기간에 신규 가입자를 무작위로 절반씩 나눠 한쪽에는 기존 온보딩을, 다른 쪽에는 새 온보딩을 동시에 노출하는 A/B 테스트가 훨씬 신뢰도가 높습니다. 같은 시기에 진행되므로 계절성이나 외부 캠페인 같은 교란 변수가 두 그룹에 똑같이 작용해 상쇄되기 때문입니다. 리소스가 부족해 동시 테스트가 어려운 조직은 전후 비교로 시작하되, 위에서 설명한 카이제곱 검정과 전체 커브 비교를 함께 병행해 결론의 신뢰도를 최대한 보완하는 절충안을 쓸 수 있습니다.

p-value가 기준을 통과했다고 해서 "효과가 크다"고 오해하면 안 됩니다. 통계적 유의성은 그 차이가 우연이 아니라는 것을 말해줄 뿐, 그 차이의 크기(효과 크기)가 비즈니스적으로 의미 있는 수준인지는 별개의 문제입니다. 표본이 아주 크면 0.5%p 같은 작은 차이도 통계적으로 유의하게 나올 수 있는데, 이 정도 차이는 실제 매출이나 운영에 미치는 영향이 미미할 수 있습니다. 보고할 때는 p-value와 함께 실제 리텐션 차이(%p)와 그 차이가 비즈니스 지표(매출, LTV)에 미치는 규모까지 같이 제시해야 의사결정자가 올바르게 판단할 수 있습니다.

또한 여러 지표(Day7, Day14, Day30 등)를 동시에 검정하면서 그중 하나라도 유의하면 "성공"이라 발표하는 것도 흔한 오류입니다. 검정을 여러 번 반복할수록 우연히 유의한 결과가 하나쯤 나올 확률이 높아지기 때문에, 애초에 실험을 설계할 때 어떤 지표를 '주 지표'로 볼지 하나로 정해두고, 나머지는 참고 지표로만 취급하며 그 지표를 기준으로만 최종 성패를 판정하는 것이 원칙입니다.