A/B 테스트 결과가 통계적으로 유의미한지 판단하는 최소 신뢰수준과 표본 기준

통계적 유의성은 "효과가 크다"거나 "결과가 확실하다"는 뜻이 아닙니다. 실제로는 차이가 없는데 있다고 결론 내리는 1종 오류의 확률을 우리가 정한 상한(보통 5%) 아래로 통제했다는 진술입니다. 즉 유의한 결과가 나와도 스무 번에 한 번은 우연일 수 있고, 그 위험을 감수하기로 사전에 합의했다는 의미입니다. 반대편에는 2종 오류가 있습니다. 실제로 효과가 있는데 '차이 없음'으로 놓치는 오류이고, 그 확률은 검정력의 여집합입니다 — 검정력 80%로 설계했다면 2종 오류율은 20%입니다. 이 두 오류는 항상 상충합니다. 유의수준을 0.05에서 0.01로 낮추면 헛것을 볼 위험은 줄지만 진짜 효과를 놓칠 위험은 커집니다. 그래서 실무에서 물어야 할 질문은 "유의하냐"가 아니라 "이 결정에서 어느 쪽 오류가 더 비싼가"입니다. 예산을 크게 옮기는 결정이라면 1종 오류가 비싸고, 소재 후보를 넓게 탐색하는 단계라면 2종 오류가 더 비쌉니다.

95%·80%는 국내에 공식 표준이 있어서 쓰는 값이 아니라 업계 관행입니다. 리스크가 큰 의사결정이면 더 높게, 탐색적 실험이면 낮게 잡는 선택이 가능합니다. 다만 자유롭게 정할 수 있다는 말은 실험이 끝난 뒤에 정해도 된다는 뜻이 결코 아닙니다. 기준을 정하는 시점이 사전이면 설계이고 사후면 자기합리화입니다. 실무 운영에서는 세 등급 정도로 미리 나눠두는 방식이 편합니다. ① 예산 재배분·매체 편성 변경처럼 되돌리기 어려운 결정: 유의수준 95% 유지, 검정력 90%까지 상향 검토 ② 소재·랜딩 교체처럼 되돌리기 쉬운 결정: 95%·80% ③ 아이디어 스크리닝 단계: 기준을 낮추되 결과를 '후보 선별'로만 쓰고 성과 보고에는 올리지 않음. 이 등급표를 운영 매뉴얼에 적어두면, 결과가 아쉬울 때마다 기준을 흔드는 일이 줄어듭니다.

실무 A/B 테스트에서 1종 오류가 가장 흔하게 발생하는 경로는 중간 결과를 들여다보다가 유의해 보이는 순간 테스트를 멈추는 것입니다. 이렇게 하면 실제 위양성률이 공표한 5%보다 훨씬 높아집니다. 이유는 단순합니다 — 무작위 변동만으로도 어느 시점엔가는 p값이 0.05 아래로 내려가는 순간이 오고, 그때만 골라서 멈추면 우연을 성과로 확정하는 셈이 됩니다. 그래서 종료 조건은 "유의해 보일 때"가 아니라 "사전에 계산한 표본에 도달했을 때"여야 합니다. 메타 A/B 테스트가 통상 최소 5~7일 필요하다고 안내되는 것도 알고리즘 학습 기간과 맞물린 통념이지, 5일이 지나면 판정해도 된다는 뜻이 아닙니다. 실무적으로는 세 가지 장치를 둡니다. 첫째, 실험 시작 시 종료일과 목표 표본을 계획서에 못 박습니다. 둘째, 중간 모니터링은 데이터 정상 수집 여부(이벤트 누락·오디언스 오염)만 보고 승패 지표는 보지 않도록 역할을 나눕니다. 셋째, 조기 종료가 불가피하면 그 사유와 시점을 기록하고 결과는 확정이 아니라 참고로 표기합니다.

실험 하나에서 CTR·전환율·객단가·이탈률을 한꺼번에 보고 그중 유의한 것을 찾아내는 방식은 다중비교 문제를 그대로 밟는 것입니다. 귀무가설이 전부 참이어도 α=0.05로 100번 검정하면 약 5건의 위양성이 우연히 나오기 때문입니다. 대응은 두 갈래입니다. 하나는 통계적 보정으로, 본페로니 교정처럼 유의수준을 검정 수로 나눠 엄격하게 만드는 방법과 벤저미니-호크버그 절차처럼 위양성 발견율을 통제하는 방법이 쓰입니다. 다른 하나는 설계로 푸는 방법으로, 실험 전에 '주요 지표(primary metric)' 하나를 정해 그것만 판정 근거로 쓰고 나머지는 참고 지표로 강등하는 것입니다. 후자가 대행사 실무에서는 더 현실적입니다 — 보정 계산을 매번 하기보다, 실험 계획서에 "이번 실험의 판정 지표는 결제 완료 전환율 하나"라고 적어두는 편이 실행 가능성이 높습니다. 어느 쪽을 택했든 보고서에는 몇 개의 지표를 검정했고 어떻게 처리했는지를 밝히십시오.

가장 흔한 오독이 "유의하지 않았으니 효과가 없다"입니다. 정확히는 "이 표본 크기에서는 판별할 수 없었다"입니다. 검정력 80%로 설계한 실험은 진짜 효과가 있어도 다섯 번에 한 번은 놓칩니다. 그러니 보고 문장은 "차이를 확인하지 못했으며, 이 설계로 검출 가능한 최소 효과는 X%였으므로 그보다 작은 효과는 판별 대상이 아니었습니다"가 되어야 합니다. 그다음 판단은 셋 중 하나입니다. ① 검출하려던 효과 크기가 실무적으로 의미 없을 만큼 작다면 그대로 종결하고 기록만 남깁니다. ② 효과 크기가 작아도 중요한 지표라면 표본을 더 모으는 재실험을 설계합니다. ③ 실험 자체에 오염(오디언스 중복, 이벤트 누락)이 있었다면 결과를 폐기하고 원인을 고친 뒤 다시 돌립니다. 어느 경우든 '무효'로 지우지 말고 실험 로그에 남기십시오 — 같은 가설을 반년 뒤 다른 담당자가 다시 제안하는 낭비가 그때 막힙니다.