결론부터
증분성 실험 회고는 '잘된 점·개선이 필요했던 점·다음 실행할 구체적 조치' 3분류 틀에 실험 고유 항목을 더해 재사용 가능한 형식으로 남기는 것이 효율적입니다.
답변
3단계01
고정 항목으로는 ① 가설(무엇을 바꾸면 어떤 지표가 얼마나 바뀔 것이라 예상했는지), ② 실제 리프트 결과와 통계적 유의성 충족 여부, ③ 오디언스 오버랩·외부 오염 같은 실험 오류 발생 여부와 조치 내용을 넣습니다.
02
다음 제안서에 재사용할 때는 이 회고를 '표본 크기 계산 방법', '홀드아웃 설계 체크리스트'와 함께 표준 부록으로 첨부해, 신규 광고주에게 방법론 설명을 반복하지 않고 근거 자료로 바로 제시할 수 있게 합니다.
03
운영 매뉴얼에는 오디언스 오버랩 발견 시 대응 순서, 리프트가 3회 연속 감소했을 때 점검 체크리스트처럼 다음에 실행할 조치를 절차서로 못박아 두면, 담당자가 바뀌어도 같은 실수를 반복하지 않습니다.
출처
과목 23503측정 신뢰성 관리: 증분성·어트리뷰션·MMM 운영증분성(인크리멘탈리티) 실험 설계 회고를 다음 제안서·운영 매뉴얼에 재사용하는 형식→과목 23501측정 신뢰성 관리: 증분성·어트리뷰션·MMM 운영어트리뷰션 모델 비교 실험군·대조군 설계 시 통계적 오류를 피하는 방법→과목 23505측정 신뢰성 관리: 증분성·어트리뷰션·MMM 운영지역 기반 증분성 테스트(지오 테스트)를 설계할 때 대조군 지역을 선정하는 기준→
12CODE ACADEMY
체계적으로 배우고 싶다면
퍼포먼스 광고 운영 과정에서 이 판단 기준을 순서대로 다룹니다.