계절성은 왜 그 자체로 문제가 아닌가

증분 실험은 절대 수준이 아니라 두 군의 차이를 봅니다. 실험군과 대조군이 같은 시기에 같은 계절 수요를 겪는다면, 그 계절 효과는 양쪽에 동일하게 작용해 차감 과정에서 상쇄됩니다. 성수기라서 실험을 못 한다는 말은 대개 사전·사후 비교 방식을 전제하고 있을 때 나옵니다.

실제로 조심할 것은 계절성이 두 군에 다르게 작용하는 경우입니다. 지역 실험이라면 명절 이동 인구가 특정 지역군에만 몰리는 상황, 사용자 실험이라면 홀드아웃 집단의 구성이 계절 수요와 다른 성격을 가진 경우입니다. 그래서 성수기 실험에서는 사전 기간 확인이 평소보다 더 중요합니다. 지난해 같은 시기에도 두 군이 나란히 움직였는지를 확인할 수 있으면 가장 좋습니다.

프로모션은 어떻게 다뤄야 하나

프로모션은 계절성과 성격이 다릅니다. 계절성은 외부에서 주어지지만 프로모션은 우리가 만드는 변수입니다. 그래서 세 가지 선택지가 있습니다.

첫째, 분리입니다. 실험 기간과 프로모션 기간을 겹치지 않게 배치합니다. 가장 깔끔하지만 연중 프로모션이 잦은 카테고리에서는 실행 가능한 창이 거의 남지 않습니다.

둘째, 균등 적용입니다. 프로모션을 실험군·대조군 양쪽에 동일하게 적용합니다. 이 경우 실험이 답하는 질문은 "프로모션이 도는 상황에서 광고의 증분은 얼마인가"가 되며, 이는 실제 운영 조건과 가까운 질문이라 오히려 유용할 수 있습니다. 설계서에 이 문장을 그대로 적어두어야 결과 해석이 흔들리지 않습니다.

셋째, 요인으로 포함입니다. 프로모션 유무와 광고 유무를 조합해 여러 집단을 만드는 설계입니다. 다만 집단이 늘면 각 집단의 표본이 줄고, 여러 가설을 동시에 검정하면 최소 한 번 잘못된 결론을 낼 확률이 커지는 다중비교 문제가 생깁니다. 표본과 검정 계획을 함께 조정할 수 있을 때만 선택하십시오.

성수기에 실험을 넣어야 한다면 무엇을 조정하나

성수기 실험의 딜레마는 분명합니다. 검증 가치가 가장 큰 구간이지만 홀드아웃의 기회비용도 가장 큽니다. 조정 방법은 세 가지입니다. ① 홀드아웃 비율을 낮춥니다. ② 기간을 짧게 잡습니다. ③ 대신 검출 목표를 크게 잡습니다.

세 조정은 서로 연결돼 있습니다. 표본이 작아지고 기간이 짧아지면 작은 차이는 검출되지 않으므로, 애초에 큰 차이만 잡겠다고 선언하고 시작해야 합니다. 성수기에는 전환량 자체가 많아지므로 짧은 기간에도 표본이 빨리 쌓인다는 점은 유리하게 작용합니다. 단, 성수기 전환량 증가가 광고 효과와 무관한 부분까지 키운다는 점을 잊으면 안 됩니다. 기준 전환율을 평상시 값이 아니라 성수기 값으로 넣어야 계산이 맞습니다.

실험 도중 프로모션이 갑자기 잡히면 어떻게 하나

현실에서 자주 벌어지는 일입니다. 사전에 규칙을 정해두는 것이 유일한 대응입니다. 실험 도중 예기치 못한 외부 변수로 트래픽 패턴이 급변하면 결과가 오염될 수 있고, 이 경우 해당 기간 데이터를 제외하거나 실험을 재시작하는 것이 일반적인 대응입니다.

설계서에 넣을 규칙은 세 줄이면 충분합니다. ① 실험군·대조군 양쪽에 동일하게 적용되는 프로모션은 그대로 진행하고 로그에 기록한다. ② 한쪽에만 적용되는 프로모션이 발생하면 그 구간을 분석에서 제외한다. ③ 제외 구간이 전체의 일정 비율을 넘으면 실험을 중단하고 재설계한다. ③의 비율은 미리 숫자로 적어두어야 나중에 논쟁이 생기지 않습니다.

결과 보고에는 무엇을 함께 적어야 하나

계절·프로모션이 겹친 기간의 실험 결과에는 세 가지를 붙입니다. 첫째, 기간 중 발생한 모든 프로모션·가격 변경 로그입니다. 둘째, 그 로그 중 어느 것이 분석에서 제외됐고 어느 것이 포함됐는지입니다. 셋째, 제외 구간을 포함해 다시 계산했을 때 결과가 어떻게 달라지는지 보여주는 민감도 분석입니다.

세 번째가 있으면 결과의 견고함을 스스로 증명할 수 있습니다. 포함하든 제외하든 같은 방향이 나온다면 결론은 강해지고, 방향이 갈린다면 그 사실을 먼저 밝히는 편이 낫습니다. 이 값은 특정 계절·특정 프로모션 조건에서의 값이라는 단서도 함께 적어야, 비수기에 그대로 옮겨 쓰는 오류를 막을 수 있습니다.