통계적 상호작용은 실제로 얼마나 흔한가

동시에 여러 실험을 돌리면 결과가 오염된다는 걱정은 널리 퍼져 있습니다. 그런데 대규모 실험 조직의 실측은 다른 이야기를 합니다. 마이크로소프트 실험 플랫폼 팀이 4개 주요 제품에서 동시 실험들을 대조한 결과, 3개 제품에서는 측정 가능한 상호작용이 전혀 없었고 나머지 한 제품에서만 약 5만 개 테스트 쌍당 1건 수준의 상호작용이 관찰됐습니다. 탐지 방법은 테스트 쌍별 처치효과를 카이제곱 검정으로 비교하고 다중비교 보정을 적용하는 방식입니다.

다만 이 수치를 광고 운영에 그대로 옮기면 안 됩니다. 원문의 실험 대상은 웹·소프트웨어 제품이고, 사용자가 각 실험에 독립적으로 배정되는 환경입니다. 광고에서는 사정이 다릅니다.

광고에서는 어떤 간섭이 더 위험한가

광고 실험의 간섭은 대개 통계가 아니라 경매에서 옵니다. 두 실험이 같은 오디언스를 나눠 갖는 순간, 두 광고 세트가 같은 사람을 놓고 서로 입찰하게 됩니다. 이때 각 실험의 결과는 상대 실험의 예산과 입찰 상태에 따라 달라집니다.

이 문제는 도구로 확인할 수 있습니다. 광고 관리자의 오디언스 탭이나 광고 세트 탭에서 오디언스를 최대 5개까지 선택해 중복 보기를 실행하면 각 쌍이 얼마나 겹치는지 퍼센트로 보여줍니다. 업계에서는 중복률이 높은 쌍을 통합 대상으로 보고, 겹치는 광고 세트를 하나로 합쳐 신호를 몰아주는 방식을 주된 해결책으로 제시합니다. 통합 판단선으로 인용되는 60%라는 수치나 중복·비효율 구조로 광고비의 20~35%가 낭비될 수 있다는 추정은 해외 툴 업체의 실무 권장치이며 매체 공식 기준은 아닙니다.

겹쳐도 되는 실험과 안 되는 실험은 어떻게 나누나

기준은 두 가지입니다. 첫째, 같은 요소를 건드리는가. 같은 버튼의 색을 바꾸는 테스트와 같은 버튼의 문구를 바꾸는 테스트는 서로 다른 두 실험이 아니라 하나의 실험으로 다뤄야 한다는 것이 업계 공통 권고입니다. 광고로 옮기면 같은 소재의 훅을 바꾸는 실험과 같은 소재의 카피를 바꾸는 실험이 여기에 해당합니다.

둘째, 같은 모수를 두고 경쟁하는가. 서로 다른 세그먼트를 대상으로 하고 중복률이 낮다면 동시에 돌려도 무방합니다. 반대로 같은 리타겟팅 모수를 두 실험이 나눠 갖는다면 분리해야 합니다.

강한 상호작용이 의심되는 경우에는 두 테스트를 합쳐 다변량 테스트로 돌리는 편이 낫습니다. 다만 다변량 테스트는 조합 수가 늘어날수록 각 조합에 배분되는 트래픽이 줄어들어, 유의미한 결과를 얻으려면 A/B 테스트보다 훨씬 큰 볼륨이 필요합니다. 볼륨이 없다면 합치는 대신 순차로 돌리는 것이 현실적입니다.

실험 도구 자체의 분할 방식도 확인해야 하나

확인해야 합니다. 구글 광고 실험의 트래픽 분할에는 쿠키 기반과 검색 기반 두 가지가 있습니다. 쿠키 기반은 사용자를 한쪽에 한 번 배정하면 이후 몇 번을 검색하든 같은 쪽 캠페인만 보게 유지하고, 검색 기반은 검색이 일어날 때마다 매번 무작위로 다시 배정합니다.

같은 사람이 두 실험에 동시에 들어갈 수 있는지가 여기서 갈립니다. 배정 방식이 다르면 간섭의 성격도 달라지므로, 동시 실험을 설계할 때는 각 실험이 어떤 분할 방식으로 돌아가는지 먼저 적어둡니다. 메타 쪽에서는 실험 도구가 측정 및 보고 메뉴 안에 있고 캠페인·광고 세트 단위로 여러 버전을 비교하는 방식으로 제공됩니다.

동시 실험 대장에는 무엇을 적나

대장은 표 한 장이면 충분합니다. 열은 실험명, 대상 오디언스, 변경 요소, 시작일과 종료 예정일, 분할 방식, 담당자입니다. 새 실험을 시작하려는 사람은 이 표에서 대상 오디언스와 변경 요소가 겹치는 행이 있는지부터 확인합니다.

겹치는 행이 있으면 세 가지 중 하나를 고릅니다. 순서를 미루거나, 대상 오디언스를 분리하거나, 두 실험을 하나로 합칩니다. 이 확인 절차 하나가 대부분의 사고를 막습니다. 대장은 공유 문서에 두고, 실험 종료 후 결과와 판단까지 같은 행에 채워 넣으면 그대로 실험 이력이 됩니다.