지금 읽는 곳무엇을 기준으로 배분을 바꾸나목차
S2 › 전략·성과관리 › 과목 238 › 레슨 22
증분효과 실험 결과를 다음 분기 예산 배분에 반영하는 의사결정 절차
배분을 바꾸는 결정에서 어려운 부분은 어느 채널이 좋은지가 아니라, 한 번에 얼마나 옮길지입니다.
핵심요약
- 배분 기준은 평균 효율이 아니라 한계 효율이다 — 마지막 1원의 증분이 채널 간에 비슷해지는 지점이 이론적 최적이다
- 실험 결과는 점 추정치가 아니라 구간이므로, 구간의 보수적인 쪽을 기준으로 이동폭을 정한다
- 한 번에 옮기는 폭에 상한을 두고, 옮긴 뒤 관측 기간과 원복 조건을 함께 정한다
- 검증되지 않은 채널의 예산은 실험 결과가 아니라 별도 규칙(유지·소폭 조정)으로 다룬다
- 배분 결정과 근거를 같은 문서에 남겨야 다음 분기에 같은 논쟁을 반복하지 않는다
무엇을 기준으로 배분을 바꾸나
직관적으로는 증분 ROAS가 높은 채널로 예산을 옮기면 될 것 같지만, 그 판단에는 조건이 붙습니다. 지출이 늘어날수록 매출 증가폭이 완만해지는 포화 효과 때문에, 예산을 옮기는 순간 받는 쪽 채널의 효율은 떨어지기 시작합니다. 그래서 기준은 평균 효율이 아니라 한계 효율입니다. 마지막으로 투입한 1원이 만들어내는 증분이 채널 간에 비슷해지는 지점이 이론적 최적입니다.
실무적으로는 이 지점을 정확히 계산할 수 없습니다. 대신 방향만 씁니다. 한계 효율이 명확히 높은 채널로 조금씩 옮기고, 옮긴 뒤 다시 측정하는 반복 과정입니다. 한 번의 실험으로 최적 배분을 구하겠다는 접근은 성립하지 않습니다.
결과의 불확실성을 배분에 어떻게 반영하나
실험 결과는 신뢰구간을 동반합니다. 배분 결정에는 그 구간의 보수적인 쪽을 씁니다. 증분 ROAS 추정치가 300%이고 구간이 150%에서 450%라면, 이동폭을 정할 때는 150%를 기준으로 계산합니다. 중앙값으로 계산해 예산을 크게 옮겼다가 실제 값이 하한 근처였을 때 되돌리는 비용이 더 큽니다.
이 원칙에는 예외가 있습니다. 축소 방향의 결정입니다. 어떤 채널의 증분이 낮게 나왔을 때는 구간의 위쪽 값을 기준으로 판단하는 편이 안전합니다. 상한 값으로도 손익분기를 못 넘는다면 축소 근거가 분명하고, 상한 값이 손익분기를 넘는다면 급하게 줄일 이유가 없습니다. 방향에 따라 구간의 어느 쪽을 볼지 규칙으로 정해두면 결정이 일관됩니다.
한 번에 얼마나 옮겨야 하나
이동폭에는 상한을 두는 편이 안전합니다. 이유는 세 가지입니다. 첫째, 실험 결과는 그 실험이 다룬 예산 구간의 값이라 크게 벗어난 구간에는 적용되지 않습니다. 둘째, 큰 폭의 변경은 매체 알고리즘의 학습을 다시 돌게 만들어 일시적 성과 저하를 부릅니다. 셋째, 여러 채널을 동시에 크게 바꾸면 다음 분기 결과에서 원인을 특정할 수 없습니다.
실무에서 쓰는 절차는 이렇습니다. ① 실험으로 검증된 채널만 조정 대상에 올립니다. ② 채널당 이동폭 상한을 정합니다. ③ 한 분기에 조정하는 채널 수를 제한합니다. ④ 조정 후 관측 기간과 원복 조건을 함께 기록합니다. 상한 수치 자체는 공식 기준이 있는 것이 아니므로, 자사의 과거 조정 이력에서 성과가 흔들리지 않았던 폭을 기준선으로 삼아 정하는 편이 낫습니다.
검증되지 않은 채널은 어떻게 다루나
모든 채널을 실험할 수는 없습니다. 그래서 배분표에는 세 종류의 채널이 섞이게 됩니다. 실험으로 검증된 채널, 실험했으나 결론이 나지 않은 채널, 아직 실험하지 않은 채널입니다. 세 종류를 같은 규칙으로 다루면 안 됩니다.
검증된 채널은 결과에 따라 조정합니다. 결론이 나지 않은 채널은 현행 유지하고 재검증 일정을 잡습니다. 미검증 채널은 현행 유지를 기본으로 하되, 예산 비중이 큰 순서대로 다음 분기 실험 대상 목록에 올립니다. 배분표에 "검증 상태" 열을 추가하면 이 구분이 자동으로 유지되고, 다음 분기 실험 우선순위도 그 표에서 바로 나옵니다.
옮긴 뒤에는 무엇을 관측하나
배분을 바꾼 다음 분기에는 관측 계획이 함께 있어야 합니다. 확인할 항목은 세 가지입니다. ① 예산을 줄인 채널의 지표가 예상한 만큼만 떨어졌는가 ② 예산을 늘린 채널의 효율이 예상보다 빠르게 나빠지지 않았는가 ③ 총합 지표(총 주문, 총 매출, 신규 고객 수)가 유지 또는 개선됐는가입니다.
③이 가장 중요합니다. 채널별 지표는 좋아졌는데 총합이 그대로라면, 배분 변경이 만든 것은 개선이 아니라 이동입니다. 관측 기간은 해당 채널의 전환 지연과 이월을 감안해 정합니다. 광고 효과는 노출 즉시 끝나지 않고 시간이 지나며 줄어드는 형태로 이월되므로, 조정 직후 몇 주 데이터만 보고 성공·실패를 판정하면 대부분 잘못된 결론이 나옵니다. 관측 종료일을 분기 마지막 날이 아니라 별도 날짜로 잡아두는 편이 낫습니다.
결정을 어떻게 문서로 남기나
남길 항목은 다섯 가지입니다. ① 이번 분기 배분 변경 내역 ② 각 변경의 근거가 된 실험과 그 신뢰구간 ③ 이동폭을 그 크기로 정한 이유 ④ 관측 기간과 원복 조건 ⑤ 다음 분기 실험 대상 목록입니다.
③이 자주 빠집니다. 근거 실험만 적어두고 이동폭의 이유를 남기지 않으면, 다음 분기에 같은 논의를 처음부터 다시 하게 됩니다. 이 문서는 실험 대장과 같은 곳에 보관하는 편이 좋습니다. 실험 결과와 그 결과가 어떤 결정으로 이어졌는지가 한 곳에 모여 있어야, 실험 프로그램이 조직에서 살아남습니다.