파일럿에서 먼저 확인해야 할 것은 무엇인가

신규 채널 검토에서 가장 먼저 확인해야 하는 것은 성과가 아니라 측정 가능성입니다. 이 채널을 본 집행 규모로 올렸을 때 증분을 잴 수 있는 설계가 존재하는지, 그 설계에 필요한 전환량과 기간을 감당할 수 있는지를 먼저 봐야 합니다. 측정할 수 없는 채널에 예산을 올리면, 나중에 성과 논쟁이 붙었을 때 답을 만들 방법이 없습니다.

그래서 파일럿 설계서의 첫 항목은 "본 집행 시 증분 검증 방식"입니다. 사용자 단위 홀드아웃이 가능한 매체인지, 지역 타겟팅이 가능한 매체인지, 둘 다 안 되면 온·오프 설계로 갈 것인지를 미리 적습니다. 이 항목이 비어 있는 채널은 파일럿 자체를 재검토하는 편이 낫습니다.

시작 전에 확정해야 하는 세 숫자는 무엇인가

첫째, 성공 기준입니다. "괜찮으면 확대"는 기준이 아닙니다. 어느 지표가 어느 값을 넘으면 확대할 것인지 숫자로 적어야 합니다. 이 값은 표본 크기 계산의 최소 검출 가능 효과와 같은 성격이라, 의사결정자가 정해야 합니다.

둘째, 중단 기준입니다. 어느 시점까지 어느 값에 못 미치면 멈출 것인지입니다. 중단 기준이 없으면 파일럿은 대개 조용히 상시 집행으로 승격됩니다.

셋째, 최대 지출 한도입니다. 파일럿 예산은 실험 예산으로 분류하고, 성과가 좋아 보인다는 이유로 도중에 증액하지 않습니다. 도중 증액은 기간별 조건을 달라지게 만들어 결과 해석을 불가능하게 합니다. 유효한 실험은 비교 대상 사이의 변경 요소를 하나로 한정해야 한다는 원칙이 여기에도 그대로 적용됩니다.

기준선이 없는 채널은 어떻게 비교하나

신규 채널에는 과거 데이터가 없습니다. 그래서 사전·사후 비교가 성립하지 않습니다. 남는 방법은 같은 기간의 비노출 대상과 비교하는 것뿐입니다. 실무에서 쓰는 두 가지 형태는 이렇습니다. ① 지역 분할: 일부 지역에만 신규 채널을 집행하고 나머지 지역과 총 전환을 비교합니다. ② 사용자 분할: 매체가 홀드아웃 기능을 제공하면 노출군·비노출군을 나눠 비교합니다.

두 경우 모두 확인해야 할 것은 총 전환의 변화입니다. 신규 채널을 켰을 때 그 채널의 전환만 늘고 기존 채널 전환이 같은 크기로 줄었다면, 새로 만든 매출이 아니라 옮겨온 매출입니다. 신규 채널 파일럿에서 이 확인을 빠뜨리면 도입 후 몇 달이 지나서야 총량이 그대로였다는 사실을 발견하게 됩니다.

기간과 학습 구간은 어떻게 처리하나

신규 채널은 초기에 성과가 불안정합니다. 알고리즘 학습, 소재 적합도 탐색, 타겟 조정이 겹치기 때문입니다. 구글 애즈 실험은 시작 후 처음 7일간의 데이터를 통계 계산에서 제외하는데, 초기 최적화 과정의 편차를 걷어내 공정하게 비교하기 위한 처리입니다. 파일럿에도 같은 원칙을 적용해 초기 구간을 판단에서 제외하고, 그 구간을 포함한 기간을 파일럿 전체 기간으로 잡아야 합니다.

전체 기간은 구매 주기에 맞춥니다. 구글 애즈 고객센터는 실험을 최소 46주 이상 진행할 것을 권장하며 구매 주기가 긴 업종은 전환 주기를 12회 기다리라고 안내합니다. 여기에 전환 지연을 감안한 리포팅 버퍼를 더해 결과 확정일을 잡습니다. 파일럿 종료일과 결과 확정일이 같은 날일 수 없다는 점을 일정표에 반영해야 합니다.

파일럿 규모는 어떻게 잡나

규모를 정할 때 흔한 오류는 "작게 시작한다"는 원칙만 남기고 숫자를 감으로 정하는 것입니다. 파일럿 규모는 두 조건에서 역산합니다. 첫째, 성공 기준으로 정한 차이를 검출할 만큼의 전환량이 쌓여야 합니다. 표본 크기 계산에 들어가는 값은 검정력, 유의수준, 최소 검출 가능 효과, 기준 전환율 네 가지이며, 이 계산은 시작 전에 끝나 있어야 합니다. 둘째, 매체가 요구하는 최소 집행 조건을 넘겨야 합니다.

두 조건 중 큰 쪽이 실제 필요 규모입니다. 계산 결과가 감당 가능한 범위를 넘는다면 파일럿을 작게 쪼개는 대신 검출 목표를 키우는 편이 낫습니다. 검출되지 않을 규모로 파일럿을 돌리면 예산은 쓰고 결론은 못 얻는 최악의 조합이 됩니다. 파일럿 승인 문서에는 "이 규모에서 검출 가능한 최소 효과"를 한 줄로 적어두십시오. 나중에 결과가 애매하게 나왔을 때 그 줄이 판단 근거가 됩니다.

결과는 어떤 결정으로 연결하나

파일럿의 출력은 세 갈래여야 합니다. 확대, 재설계, 중단입니다. 각 갈래에 붙는 조건을 미리 정의해 두면 결과 회의가 짧아집니다. 확대는 성공 기준을 넘고 총 전환도 함께 늘어난 경우, 재설계는 총 전환은 늘었지만 목표 지표에 못 미친 경우나 측정 자체가 불완전했던 경우, 중단은 중단 기준에 걸린 경우입니다.

재설계로 갈 때는 무엇을 바꿀지 한 항목만 고릅니다. 소재와 타겟과 예산을 동시에 바꾸면 다음 파일럿에서도 원인을 특정할 수 없습니다. 한 번에 하나씩 바꾸는 원칙은 파일럿을 여러 차례 반복해야 하는 상황에서 특히 중요합니다.