답변
증분성 실험 회고는 '잘된 점·개선이 필요했던 점·다음 실행할 구체적 조치' 3분류 틀에 실험 고유 항목을 더해 재사용 가능한 형식으로 남기는 것이 효율적입니다. 고정 항목으로는 ① 가설(무엇을 바꾸면 어떤 지표가 얼마나 바뀔 것이라 예상했는지), ② 실제 리프트 결과와 통계적 유의성 충족 여부, ③ 오디언스 오버랩·외부 오염 같은 실험 오류 발생 여부와 조치 내용을 넣습니다. 다음 제안서에 재사용할 때는 이 회고를 '표본 크기 계산 방법', '홀드아웃 설계 체크리스트'와 함께 표준 부록으로 첨부해, 신규 광고주에게 방법론 설명을 반복하지 않고 근거 자료로 바로 제시할 수 있게 합니다. 운영 매뉴얼에는 오디언스 오버랩 발견 시 대응 순서, 리프트가 3회 연속 감소했을 때 점검 체크리스트처럼 다음에 실행할 조치를 절차서로 못박아 두면, 담당자가 바뀌어도 같은 실수를 반복하지 않습니다.