왜 감이 아니라 실험 설계가 필요한가

"요즘 리타게팅 효율이 떨어진 것 같다"는 체감은 흔하지만, 그 원인이 실제로 쿠키 신호 손실 때문인지, 계절적 수요 변화나 경쟁 입찰 증가 때문인지 감으로는 구분할 수 없습니다. 두 원인을 섞은 채로 퍼스트파티 데이터 전환에 예산을 투입하면, 전환 이후 성과가 좋아져도 그게 정말 데이터 방식 덕분인지 확신할 수 없습니다. 이 불확실성을 없애려면 같은 기간·같은 조건에서 두 방식을 나란히 돌려 직접 비교하는 실험 설계가 필요합니다.

실험을 시작하기 전에 정리해야 할 가설

실험을 설계하기 전에 "무엇을 확인하려는 것인가"를 한 문장으로 먼저 적어두는 편이 이후 해석 단계에서 흔들리지 않습니다. 예를 들어 "사파리·iOS 트래픽 비중이 높은 이 캠페인에서, 퍼스트파티 해시 매칭 오디언스가 쿠키 기반 오디언스보다 CPA를 유의미하게 낮게 유지하는가"처럼 구체적인 가설로 시작해야, 실험이 끝난 뒤 결과가 애매할 때도 무엇을 기준으로 판정할지 흔들리지 않습니다. 가설 없이 시작하면 결과가 나온 뒤에 원하는 방향으로 해석을 끼워 맞추는 확증 편향에 빠지기 쉽습니다.

비교할 두 광고 세트는 어떻게 나눠야 공정한가

공정한 비교를 위해서는 예산, 소재, 랜딩페이지, 캠페인 목표(전환 최적화 기준)를 최대한 동일하게 맞추고, 오디언스 소스만 다르게 설정해야 합니다. 한 세트는 기존 쿠키 기반 리타게팅 오디언스로, 다른 세트는 7강에서 다룬 해시 매칭 기반 퍼스트파티 오디언스로 구성합니다. 예산을 완전히 동일하게 나누기 어렵다면 최소한 비율을 고정하고, 광고 소재 로테이션도 두 세트에 동일하게 적용해야 오디언스 차이 외의 변수가 섞이지 않습니다.

관찰 기간은 얼마나 잡아야 신뢰할 수 있나

광고 세트를 새로 만들거나 오디언스 구성을 바꾸면 스마트 입찰 알고리즘이 다시 데이터를 모으는 학습 기간을 거칩니다. 이 기간 동안의 CPA는 안정된 성과가 아니라 변동성이 큰 상태이므로, 학습 기간 중 데이터를 성과 판정에 그대로 쓰면 결론이 왜곡될 수 있습니다. 실무적으로는 학습 기간이 지나 성과가 안정된 이후 구간부터 최소 2~4주 이상의 데이터를 모아야 요일별·주별 변동을 걸러낸 판단이 가능합니다. 전환 수가 적은 계정이라면 통계적으로 유의미한 차이를 보려면 더 긴 기간이 필요할 수 있습니다.

비교 중 절대 건드리면 안 되는 변수는 무엇인가

비교 실험이 시작된 이후에는 예산, 입찰 전략, 전환 추적 설정, 캠페인 구조를 함부로 바꾸지 않아야 합니다. 이런 변경은 학습 기간을 다시 리셋시켜 그 시점 이후 데이터의 신뢰도를 떨어뜨립니다. 만약 실험 도중 불가피하게 설정을 바꿔야 한다면, 그 시점을 명확히 기록해두고 이후 데이터는 별도 구간으로 분리해 분석해야 합니다. 두 세트 중 한쪽만 바꾸고 다른 쪽은 그대로 두는 것도 비교 자체를 무의미하게 만드므로 피해야 합니다.

결과를 해석할 때 흔한 착시는 무엇인가

비교 결과를 볼 때 가장 흔한 착시는 전체 전환수만 보고 판단하는 것입니다. 오디언스 규모 자체가 다르면(해시 매칭 오디언스의 매칭률이 낮아 모수가 작은 경우) 전환수 차이가 방식의 우열이 아니라 단순 모수 차이에서 온 것일 수 있습니다. CPA·전환율처럼 규모를 정규화한 지표로 비교해야 하고, 매칭률이 낮게 나온 세트는 5강에서 다룬 해싱 파이프라인 문제부터 먼저 점검해 데이터 품질이 실험 결과를 왜곡하지 않았는지 확인해야 합니다.

전환수가 적은 계정은 어떻게 판정해야 하나

월 전환 건수가 수십 건 수준으로 적은 계정에서는 4주 비교로도 통계적으로 유의미한 차이를 확인하기 어려울 수 있습니다. 이런 경우 CPA 하나만 보고 즉시 승패를 판정하기보다, 관찰 기간을 8주 이상으로 늘리거나 CPA와 함께 클릭당비용(CPC)·전환율처럼 표본 영향을 덜 받는 보조 지표를 함께 확인하는 방법이 현실적입니다. 두 세트의 CPA 차이가 매주 들쭉날쭉하면서 방향성이 일정하지 않다면, 아직 판정할 만큼 데이터가 쌓이지 않았다고 보고 관찰을 더 이어가는 편이 성급한 결론보다 안전합니다.

판정 이후 다음 단계로 어떻게 넘어가나

비교 실험에서 퍼스트파티 데이터 연동 세트의 CPA 방어율이 유의미하게 높게 나왔다면, 다음 단계는 이 오디언스를 전체 캠페인으로 확장하는 것입니다. 다만 확장 시에도 예산을 한 번에 크게 늘리기보다 단계적으로 늘려야 학습 기간 리셋으로 인한 일시적 성과 저하를 피할 수 있습니다. 반대로 두 세트 간 유의미한 차이가 확인되지 않았다면, 그 자체로도 유용한 정보입니다 — 아직은 쿠키 기반 방식이 자사 트래픽 구조에서 크게 손상되지 않았다는 뜻이므로, 전환 우선순위를 다른 채널(사파리·iOS 비중이 큰 채널)부터 조정하는 게 합리적입니다.