회고 문서에 반드시 들어가야 하는 고정 필드는 무엇인가

회고를 매번 다른 형식으로 쓰면 재사용이 불가능합니다. 다음 열두 개 필드를 고정한 한 장짜리 표로 통일하십시오. ①실험 목적과 의사결정 질문 ②측정 대상 매체·캠페인 ③실험군·대조군 분할 방식과 격리 수단 ④사전 데이터 기간과 그 기간의 전환량 ⑤사전에 계산한 표본·기간과 실제 집행 기간 ⑥주요 지표 한 개와 보조 지표 목록 ⑦기간 중 발생한 외부 사건(프로모션·품절·경쟁사 이슈) ⑧결과값과 신뢰구간 ⑨결과 해석과 반대 해석 가능성 ⑩실제로 내린 의사결정 ⑪설계상 알고도 감수한 한계 ⑫다음 실험에서 바꿀 것 한 가지입니다. 이 중 ⑦과 ⑪은 빠지기 쉽지만 나중에 결과를 방어할 때 가장 자주 인용되는 칸입니다. 회고를 실험 종료 직후가 아니라 '결과를 광고주에게 보고한 다음 날'에 쓰면 ⑨와 ⑩이 훨씬 정확하게 채워집니다.

대조군 격리 기록은 왜 첫 칸에 와야 하나

인크리멘털리티는 광고를 노출한 집단과 노출하지 않은 통제 집단의 성과를 비교해, 광고가 없었어도 자연히 발생했을 매출을 제외한 순수 추가 매출만 분리해 재는 방법론입니다. 라스트클릭 같은 전통적 기여 모델이 이미 구매 의사가 있던 고객의 전환까지 광고 성과로 잡아 과대평가하는 문제를 통제집단 비교로 보정하는 것이 핵심입니다. 그래서 실험의 신뢰도는 대조군이 실제로 광고를 보지 않았는지 하나에 달려 있습니다. 메타의 리프트 테스트는 대상 오디언스를 무작위로 테스트 그룹과 홀드아웃 그룹으로 나눠 같은 기간 두 그룹의 성과 차이를 비교하는데, 계정 내 다른 캠페인과 오디언스가 겹치면 대조군이 오염됩니다. 회고 ③번 칸에는 '무작위 분할'이라고만 쓰지 말고, 실험 기간에 동시 집행 중이던 캠페인 목록과 그중 오디언스가 겹칠 수 있었던 캠페인을 어떻게 처리했는지를 적으십시오. 다음 실험 설계자가 가장 먼저 찾는 정보가 이것입니다.

실행 요건 수치는 어떻게 적어야 다음에 오해가 없나

업계에서는 전환 리프트 테스트에 주당 최소 100건 이상의 전환이 필요하고, 시작 전 최소 24주간 안정적인 전환 데이터가 쌓여 있어야 하며 정책 위반 이력이 없는 정상 계정이어야 한다는 가이드가 통용됩니다. A/B 테스트 성격의 실험은 통상 최소 57일이 필요하다는 안내도 흔합니다. 다만 이 수치들은 3차 매체가 정리한 권고치이지 매체 공식 최소값이 아니며, 계정 규모·업종에 따라 실제 요건이 다릅니다. 그러므로 회고에는 두 줄을 나란히 적으십시오. 한 줄은 참고한 업계 권고치와 출처, 다른 한 줄은 실험을 생성할 때 화면에 실제로 표시된 계정별 최소 요건과 캡처 날짜입니다. 최종 기준은 언제나 후자입니다. 이렇게 두 줄을 병기해두면 다음 담당자가 권고치를 절대 기준으로 착각해 집행 가능한 실험을 포기하거나, 반대로 요건 미달인 계정에서 무리하게 실험을 돌리는 일을 막을 수 있습니다.

제안서에는 회고의 어느 부분을 옮겨야 하나

제안서에 지난 실험의 결과 숫자(예: 증분 ROAS 몇 배)를 그대로 옮기는 것은 위험합니다. 업종·계정 규모·전환 볼륨이 다르면 재현되지 않는데, 광고주는 그 숫자를 약속으로 기억합니다. 옮겨야 할 것은 ①③④⑤⑦⑪ 즉 설계 조건과 한계입니다. 제안서 문장은 '지난 유사 업종 계정에서는 사전 전환량이 주당 몇 건인 조건에서 몇 주 설계로 실험이 성립했고, 오디언스 중복 캠페인 몇 개를 중지해야 했습니다. 귀사 계정은 현재 전환량이 이러하므로 같은 설계가 성립하는지 먼저 확인이 필요합니다'처럼 조건 대조 형태로 씁니다. 결과 숫자를 꼭 인용해야 한다면 신뢰구간과 함께 쓰고, 단일 계정 결과라는 점을 같은 문장 안에 밝히십시오. 리프트 테스트와 브랜드 리프트는 별개 제품이고 최소 집행 요건도 다르므로, 제안서에서 두 가지를 하나로 묶어 설명하지 않는 것도 중요합니다.

운영 매뉴얼에는 어떤 형태로 접붙이나

회고의 ⑫번(다음에 바꿀 것)은 개인 메모로 두면 사라지고, 매뉴얼의 체크리스트 한 줄로 승격시켜야 조직에 남습니다. 운영 매뉴얼에는 실험 단계별로 세 종류의 항목을 두십시오. 사전 점검 항목(전환량 확인, 픽셀·전환 API 정상 수신 확인, 중복 오디언스 캠페인 목록화, 기간 중 예정된 프로모션 확인), 집행 중 금지 항목(중간 결과로 조기 종료 금지, 대조군 지역·그룹에 다른 실험 중복 금지, 기간 중 예산·타겟 구조 변경 금지), 종료 후 산출물 항목(회고 표 작성, 결과값·기간을 정해진 스키마로 적재)입니다. 마지막 항목이 특히 중요합니다. Meridian은 A/B 테스트나 증분성 실험 데이터를 모델 보정에 쓰는 기능을 공식 지원하고, 지역 단위 실험 도구인 Meridian GeoX는 실험으로 확인한 인과 효과를 MMM의 사전분포로 되먹여 모델을 보정합니다. 다만 보정 기능이 있다고 실험 없이 정확한 모델이 나오는 것은 아니고, 보정용 실험 데이터 자체가 부실하면 보정 효과도 제한적입니다. 즉 오늘의 회고 품질이 내년 MMM의 정확도를 결정합니다.

측정 감사 루틴과는 어떻게 연결하나

실험 회고와 별개로 분기 단위 측정 감사를 돌려두면 회고의 신뢰도가 함께 올라갑니다. 감사 체크리스트의 공통 항목은 사이트 전체 트래킹 코드를 빠짐없이 매핑하고, 매체가 집계한 전환수와 CRM·주문 데이터를 대조해 오차율을 산출하고, 모든 전환 이벤트에 고유 거래 ID를 부여하고, 매체별 중복제거 설정을 확인하고, 분기마다 새로 추가된 태그·픽셀을 점검하는 것입니다. 픽셀 발화와 파라미터 값은 브라우저 확장(Meta Pixel Helper, Google Tag Assistant)으로 가장 빠르게 확인합니다. 실험 직전에 이 감사를 한 번 돌린 기록을 회고 ④번 칸 옆에 붙여두면, 나중에 결과가 의심받을 때 '실험 시작 시점의 계측 상태'를 증거로 제시할 수 있습니다.