실험 설계 및 판정: 메시지 발송 그룹(Test)과 미발송 그룹(Control)의 최종 결제 전환율 비교를 넘어, '차단율 비용'을 산정한 순수 ROI 판정선

오픈율·클릭율은 메시지가 유저의 관심을 끌었는지는 보여주지만, 그 메시지가 없었어도 유저가 어차피 구매했을지는 알려주지 않습니다. 8강에서 다룬 트리거처럼 원래 관심이 높은 순간을 노리는 발송일수록 이 착시는 더 커집니다. 장바구니에 상품을 담아둔 유저는 트리거 메시지가 없어도 상당수가 알아서 결제를 완료할 수 있는데, 발송군 전환율만 보면 이 자연 전환분까지 트리거의 성과로 잡히게 됩니다.

이를 바로잡는 방법이 Test-Control 실험입니다. 트리거나 캠페인 조건에 해당하는 유저 전체를 무작위로 두 그룹으로 나눠, 한 그룹(Test)에는 실제로 메시지를 발송하고 다른 그룹(Control)에는 발송하지 않습니다. 이후 두 그룹의 최종 결제 전환율 차이가 그 메시지가 만들어낸 순수 증분 효과입니다. Test 그룹 전환율이 12%이고 Control 그룹이 9%라면, 메시지가 실제로 만든 증분은 3%p이지 12% 전체가 아닙니다. 대조군 없이 Test 그룹 수치만 보고받는 조직은, 실제보다 CRM의 기여도를 과대평가하는 오류에 계속 노출됩니다.

발송 비용(2강에서 정리한 채널별 단가)을 증분 매출과 비교하는 것은 ROI 계산의 기본이지만, 이것만으로는 CRM의 진짜 비용을 다 담지 못합니다. 5강에서 다룬 채널 차단은 그 자체로 눈에 보이는 발송 비용은 아니지만, 차단된 유저에게는 향후 어떤 캠페인·트리거도 도달할 수 없게 되므로 미래의 잠재 매출 기회를 잃는 비용입니다. 단기 캠페인이 매출 목표는 달성했지만 그 기간 동안 차단율이 평소보다 급증했다면, 눈에 보이는 매출 증가분에서 미래 손실분을 빼야 진짜 순수 ROI가 나옵니다.

발송 비용을 계산에 넣을 때도 주의할 점이 있습니다. 알림톡의 기준 단가는 카카오 고객센터 안내 기준 건당 8원으로 알려져 있지만, 실제 결제 가격은 발송 플랫폼의 수수료 구조에 따라 4.8원부터 15원까지 벌어집니다. 브랜드메시지의 유형별 단가 역시 카카오가 공식 가이드에 게재하지 않아 대행사마다 다르게 안내되는 집계값입니다. ROI 판정선을 세울 때 이런 업계 집계 단가를 그대로 대입하면 계산의 분모부터 흔들리므로, 자사 계약서에 적힌 실제 단가를 넣어야 합니다.

이번 조사의 facts에는 차단 1건의 정확한 금전 가치를 계산하는 공식이나 업계 표준 수치가 없습니다. 따라서 특정 금액을 제시하기보다 산정 방법론을 제안합니다 — 차단된 유저 한 명이 차단되지 않았을 경우 향후 1년간 받았을 평균 발송 접점 수와, 그 채널의 평균 전환 기여도(과거 Test-Control 실험에서 확인된 증분 전환율과 평균 객단가)를 곱해 '차단 1건당 손실 추정치'를 자사 데이터로 직접 구축하는 방식입니다. 이 값이 있어야 캠페인 종료 후 "매출은 늘었지만 차단이 급증해서 순수 ROI는 오히려 마이너스였다"는 판단을 숫자로 뒷받침할 수 있습니다.

Test-Control 실험은 특정 캠페인·트리거·세그먼트 조합에서 얻은 결과일 뿐, 다른 조합에 그대로 적용되지 않습니다. 예를 들어 장바구니 이탈 트리거의 증분 효과가 크게 나왔다고 해서, 같은 배율이 생일 쿠폰 트리거에도 적용된다고 가정하면 안 됩니다. 채널별(앱 푸시 vs 알림톡 vs 문자), 세그먼트별(활성 고객 vs 휴면 고객)로 증분 효과가 다르게 나타나는 경우가 많으므로, 새로운 트리거나 캠페인을 도입할 때마다 최소 규모의 Control 그룹을 상시로 남겨두는 운영 방식이 바람직합니다.

증분 효과와 차단 비용 추정치가 갖춰지면, 다음 단계는 이 둘을 하나의 판정선으로 합쳐 사전에 합의해두는 것입니다. 예를 들어 "증분 매출이 발송 비용과 추정 차단 손실의 합을 넘지 못하면 해당 캠페인 유형은 재검토한다"는 기준을 미리 문서화해두면, 매출 압박이 심한 시기에도 담당자 개인의 감이 아니라 합의된 기준으로 발송 여부를 판단할 수 있습니다. 이 판정선이 없는 조직은 캠페인이 잘 안 풀릴수록 발송 빈도를 늘리는 방향으로만 대응하기 쉬운데, 이는 5강에서 다룬 차단 사태로 이어지는 전형적인 경로입니다.

또한 이 판정선은 한 번 정하고 고정하는 것이 아니라, 채널 단가 변화(2강), 규제 변화(4강), 유저 행동 패턴 변화에 따라 주기적으로 갱신해야 합니다. 분기별로 최근 실험 결과를 모아 판정 기준을 재검토하는 정례 프로세스를 두는 편이, 오래된 가정에 기반한 의사결정을 막는 데 도움이 됩니다.