답변
데이터 기반 의사결정 체계는 조직 문화가 아니라 여섯 개의 산출물로 만들어집니다. 순서를 바꾸면 뒤 단계가 앞 단계의 오류를 증폭하기만 하므로 아래 순서대로 쌓는 게 중요합니다. 첫째는 핵심 지표 정의와 지표 사전입니다. 같은 단어를 같은 뜻으로 쓰기 위한 문서로, 지표 이름·계산식·데이터 소스·집계 기준(주문일 기준인지 결제일 기준인지)·제외 조건을 한 줄씩 적습니다. 여기서 가장 흔히 무너지는 지점은 '전환'과 '매출'입니다 — 한쪽은 결제완료를, 다른 쪽은 상담신청을 전환이라 부르고, 매출을 총주문액으로 보는 사람과 취소·반품을 뺀 순매출로 보는 사람이 같은 회의에 앉아 있으면 어떤 결정도 재현되지 않습니다. 둘째, 데이터 소스를 정리하고 단일 기준을 확정합니다. 광고 매체 리포트, 웹 분석 도구, 쇼핑몰 어드민, 자사 주문 DB가 서로 다른 숫자를 내는 건 정상이므로, 어떤 판단에 어떤 소스를 쓸지를 먼저 못박습니다. 채널 간 예산 판단은 A, 매체 내부 최적화는 매체 리포트, 최종 정산은 주문 DB 같은 식입니다. 무너지는 지점은 기준이 없을 때 발표자가 그때그때 자기에게 유리한 소스를 인용하는 것입니다. 셋째, 수집 신뢰성을 확보합니다. 전환 태그가 모든 결제 경로에서 실제로 발화하는지 테스트 주문으로 확인하고, 완료 페이지 새로고침이나 재방문으로 생기는 중복 전환을 주문번호 기준으로 제거하며, 내부 IP와 테스트 계정을 걸러냅니다. 여기서 무너지는 지점은 사이트 개편이나 결제 모듈 교체 직후입니다 — 태그가 빠진 걸 몇 주 뒤에 발견하면 그 기간의 의사결정이 전부 오염되므로, 주 1회 측정 도구 전환 수와 실제 주문 수를 대조하는 점검을 고정 업무로 넣습니다. 넷째, 주간 리포트를 자동화하고 '누가 보는지'를 정합니다. 지표는 화면 하나에 들어갈 만큼만 남기고(대개 5~8개), 발송 요일과 시간, 수신자, 이상치가 나왔을 때 원인을 확인할 담당자를 함께 적어 둡니다. 무너지는 지점은 지표를 서른 개 얹은 대시보드입니다 — 주인이 없는 숫자는 아무도 보지 않고, 결국 아무 결정도 바뀌지 않습니다. 다섯째, 의사결정 규칙을 문서화합니다. '어떤 숫자가 어떻게 되면 무엇을 한다'를 미리 적어 두는 것으로, 예를 들어 'CPA가 목표의 130%를 2주 연속 초과하면 해당 캠페인 예산을 30% 줄인다', '신규 소재는 노출 1만 회 또는 7일 중 먼저 도달한 시점에 유지·중단을 판단한다' 같은 형태입니다. 규칙이 없으면 매주 회의에서 같은 논쟁을 감으로 다시 하게 되고, 결과가 나빠도 무엇이 틀렸는지 되짚을 기준이 남지 않습니다. 여섯째, 실험 체계를 붙입니다. 한 번에 한 가지만 바꾸고, 시작 전에 가설·성공 기준·기간·최소 표본을 적어 두며, 끝난 실험은 결과와 결론을 실험 로그에 남깁니다. 무너지는 지점은 기록이 없어 반년 뒤 다른 담당자가 같은 실험을 처음부터 다시 하는 것입니다. 참고로 첫째~셋째 없이 넷째부터 시작하면 잘못된 숫자를 빠르고 자동으로 배포하는 체계가 되므로, 급하더라도 순서는 지키는 편이 낫습니다.