무엇을 실패로 볼지 언제 정해야 하나

시즌이 끝난 뒤에 실패 여부를 논의하면, 기준이 결과를 따라갑니다. 목표에 못 미쳤지만 작년보다는 나았으니 성공이라는 식의 해석이 여기서 나옵니다. 구글 SRE의 포스트모템 문화 장은 사건이 일어나기 전에 어떤 경우에 포스트모템을 쓰는지 기준을 미리 정의해 두는 것이 중요하다고 명시합니다. 소프트웨어 운영 조직의 방법론이지만, 트리거를 미리 못 박아 둔다는 구조는 프로모션 회고에 그대로 옮길 수 있습니다.

옮길 때는 서비스 중단에 해당하는 조건을 자사 기준으로 새로 써야 합니다. 목표 대비 매출 달성률이 일정 수준 아래로 내려간 경우, 재고 소진 계획이 어긋난 경우, 고지한 배송 일정을 지키지 못한 경우, 가격 표시나 쿠폰 적용에 오류가 발생한 경우처럼 판단이 갈리지 않는 문장으로 적어 둡니다. 트리거가 문서에 있으면 회고를 열지 말지를 두고 벌이는 논쟁이 사라집니다.

회고 자리에서 개인을 지목하면 무엇이 사라지나

같은 SRE 문화 장은 포스트모템이 진정으로 비난 없는 것이 되려면 개인이나 팀을 부적절한 행동으로 지목하지 않고 사건에 기여한 원인을 찾는 데 집중해야 하며, 관련된 모든 사람이 그 시점에 가진 최선의 정보로 선의를 갖고 행동했다고 전제해야 한다고 설명합니다. 이 전제가 깨지면 다음 회고부터 정보가 올라오지 않습니다. 쿠폰 조건을 잘못 걸었다는 사실을 말하면 책임이 돌아온다고 학습한 담당자는, 다음 시즌에 같은 사실을 숨깁니다.

지목하지 않는다는 것이 원인을 덮는다는 뜻은 아닙니다. 사람 대신 그 사람이 그렇게 판단하게 만든 조건을 적습니다. 승인 절차가 없었는지, 마감이 촉박했는지, 화면에서 조건이 보이지 않았는지가 그 조건입니다. 구글 SRE 워크북은 한 팀의 장애를 공유 가능한 개선으로 바꿔 같은 실패 패턴이 다른 서비스에서 반복될 확률을 낮추는 것을 포스트모템의 목표로 제시합니다. 프로모션에서도 같은 실수가 다른 팀 기획전에서 반복되는 것을 막는 것이 회고의 값입니다.

성과가 나쁜 것과 판정이 틀린 것을 어떻게 구분하나

매출이 목표에 미달했다는 사실만으로는 프로모션 설계가 틀렸는지 알 수 없습니다. 프로모션의 실제 기여를 판정하려면 같은 조건의 고객군 일부를 대상에서 제외한 홀드아웃을 두고 두 그룹의 구매율과 구매액을 비교해야 합니다. 대상자의 매출만 집계하면 할인 없이도 구매했을 고객의 매출까지 성과로 잡힙니다. 이번 시즌에 홀드아웃을 두지 않았다면, 회고 문서에는 결론 대신 이번에는 증분을 판정할 수 없었다는 사실과 다음 시즌 설계에 홀드아웃을 넣는다는 조치 항목을 남깁니다.

오염 요인도 함께 적습니다. 실험 도중 대형 이슈나 포털 노출 같은 외부 변수로 트래픽 패턴이 급변하면 결과가 오염될 수 있고, 이런 경우 해당 기간 데이터를 제외하거나 실험을 재시작하는 것이 일반적인 대응입니다. 시즌 프로모션은 경쟁사 행사와 겹치는 것이 정상이므로, 겹친 구간을 표시해 두지 않으면 다음 해에 같은 표를 잘못 읽게 됩니다.

숫자를 언제 확정해야 하나

종료 다음 날 오전에 회고를 여는 관행은 위험합니다. GA4 실시간 보고서는 최근 약 30분 내 활동을 즉시에 가깝게 보여주지만, 표준 보고서는 처리 지연이 있어 당일 데이터가 완전히 반영되기까지 2448시간이 걸릴 수 있습니다. 광고 쪽도 마찬가지입니다. 구글 애즈 실험은 시작 후 처음 7일간의 데이터를 통계 계산에서 제외하고, 고객센터 FAQ는 최소 46주 이상 진행하며 구매 주기가 긴 업종은 전환 주기를 1~2회 기다릴 것을 권장합니다.

그래서 회고는 두 번에 나누는 편이 안전합니다. 종료 직후에는 사실관계와 타임라인만 확보합니다. 무슨 일이 언제 일어났고 누가 무엇을 바꿨는지는 시간이 지날수록 흐려지므로 즉시 기록해야 합니다. 성과 판정과 조치 결정은 데이터가 확정되고 반품·취소가 반영된 뒤로 미룹니다. 두 회차의 목적을 문서에 구분해 적어 두면, 첫 회차에서 성급한 결론이 나오는 것을 막을 수 있습니다.

다음 시즌에 남길 문서는 무엇으로 구성되나

남길 것은 네 덩어리입니다. 첫째, 이번 시즌에 쓴 지표의 정의입니다. 전환의 분모가 무엇이었는지, 재구매를 며칠까지로 봤는지가 정의로 남아 있지 않으면 내년 숫자와 비교할 수 없습니다. 둘째, 타임라인입니다. 개시·변경·중단 시각과 그때 바꾼 항목을 한 줄씩 적습니다. 셋째, 기각된 가설입니다. 검토했지만 채택하지 않은 안과 그 이유를 남겨야 다음 담당자가 같은 논의를 처음부터 반복하지 않습니다. 넷째, 조치 항목입니다. 담당자와 기한이 없는 개선안은 실행되지 않습니다.

여기에 한 줄을 더 붙입니다. 이번 시즌에 확인하지 못한 것 목록입니다. 표본이 모자라 판정하지 못한 항목, 계측이 없어 확인할 수 없었던 구간을 적어 두면 다음 시즌의 준비 목록이 그대로 만들어집니다.