← 라이브러리 01 어트리뷰션 모델 비교 실험군·대조군 설계 시 통계적 오류를 피하는 방법 모델을 바꿔서 성과가 좋아진 것인지, 우연히 그렇게 보이는 것인지를 가르는 조건은 실험을 시작하기 전에 이미 정해집니다. 6건 출처 02 MMM(마케팅믹스모델링) 도입 검토에서 대행사가 보유해야 할 원본 데이터·변경 이력·승인 기록 MMM은 모델링 역량보다 과거 3년치 데이터를 얼마나 원본 그대로, 언제 무엇이 바뀌었는지까지 붙들고 있었느냐에서 성패가 갈립니다. 9건 출처 03 증분성(인크리멘탈리티) 실험 설계 회고를 다음 제안서·운영 매뉴얼에 재사용하는 형식 회고를 감상문으로 쓰면 한 번 읽고 끝나고, 필드가 정해진 표로 쓰면 다음 제안서에 그대로 붙습니다. 8건 출처 04 라스트클릭 vs 데이터기반 어트리뷰션 전환 시 과거 성과 데이터를 재해석하는 방법 모델을 바꾸면 과거 숫자가 달라지는 것이 아니라, 같은 전환을 다른 규칙으로 나눈 두 번째 장부가 생기는 것입니다. 10건 출처 05 지역 기반 증분성 테스트(지오 테스트)를 설계할 때 대조군 지역을 선정하는 기준 대조군은 '비슷해 보이는 도시'가 아니라 '사전 기간에 같이 움직인 매출 곡선'으로 고릅니다. 5건 출처 06 서버사이드 태깅 도입 후 기존 클라이언트사이드 데이터와의 오차를 검증하는 방법 서버로 옮기면 전환수가 늘어나는 것이 정상인데, 어디까지가 회복이고 어디부터가 중복인지 구분하는 기준이 필요합니다. 8건 출처 07 전환 지연(컨버전 랙)을 반영한 성과 리포트 마감 시점을 정하는 기준 어제 데이터로 오늘 예산을 옮기는 습관이 대행사가 가장 자주 저지르는 자해입니다. 6건 출처 08 쿠키리스 시대 대비 퍼스트파티 데이터 기반 측정 체계로 전환하는 로드맵 크롬이 제3자 쿠키를 없애지 않기로 했다고 해서 준비를 미룰 이유는 없습니다. 이미 무너진 쪽은 다른 곳입니다. 12건 출처 09 CDP(고객데이터플랫폼) 도입 시 기존 매체 전환 데이터와 CDP 데이터의 정합성 검증법 두 숫자가 다르다는 사실보다, 어느 쪽을 정본으로 삼을지 먼저 정하지 않은 것이 더 큰 문제입니다. 10건 출처 10 MMM 결과와 어트리뷰션 결과가 상충할 때 어느 쪽을 의사결정에 우선할지 판단 기준 두 숫자가 다르면 하나가 틀린 게 아니라, 애초에 서로 다른 질문에 답하는 도구를 같은 표에 올려놓은 것입니다. 8건 출처 11 증분성 실험의 최소 표본 크기(샘플사이즈)를 사전에 계산하는 방법 표본은 실험이 끝난 뒤 세는 숫자가 아니라, 실험을 시작할지 말지를 결정하는 숫자입니다. 8건 출처 12 측정 신뢰성 문제(픽셀 오류·중복 집계)를 조기에 발견하는 정기 점검 루틴 측정 사고는 대개 조용히 시작되고, 리포트가 이상해 보일 때쯤이면 이미 몇 주치 의사결정이 그 위에 쌓여 있습니다. 12건 출처 13 광고주에게 측정 오차 범위(신뢰구간)를 포함해 보고하는 방식과 표현법 숫자를 소수점까지 적어 보내는 습관이, 나중에 그 숫자가 흔들렸을 때 대행사 신뢰를 깎아먹습니다. 12건 출처 14 다채널 어트리뷰션에서 오가닉·직접 유입 기여도를 과대평가하지 않는 검증법 직접 유입이 유난히 크다면 브랜드가 강해서가 아니라, 유입 정보가 중간에 끊겨 그쪽으로 몰린 것일 가능성이 큽니다. 9건 출처 15 A/B 테스트 결과가 통계적으로 유의미한지 판단하는 최소 신뢰수준과 표본 기준 "유의하게 나왔다"는 말은 결과의 성질이 아니라, 우리가 실험 전에 정해둔 약속을 지켰는지에 대한 진술입니다. 5건 출처 16 측정 도구(GA4·매체 픽셀·CDP)별 데이터 정의 차이를 통일하는 용어집 만들기 같은 회의에서 '전환'이라는 단어를 세 사람이 서로 다른 뜻으로 쓰고 있다면, 숫자를 아무리 맞춰도 결론은 어긋납니다. 11건 출처 17 증분성 테스트 결과를 실제 예산 배분에 반영하기까지의 승인 프로세스 실험을 잘 돌리는 것보다 어려운 일은, 그 결과로 남의 예산을 옮기는 결정을 통과시키는 것입니다. 7건 출처 18 데이터 이력 관리 없이 트래킹 코드를 변경했을 때 발생한 리포트 오류 복구 사례 트래킹 코드를 바꿀 때 변경 이력을 남기지 않으면, 리포트가 틀렸다는 사실보다 '언제부터 틀렸는지'를 모르는 쪽이 더 큰 손해로 돌아옵니다. 11건 출처 19 어트리뷰션 윈도우(클릭 후 며칠·조회 후 며칠) 설정 변경이 성과 지표에 미치는 영향 기여 기간은 단순한 리포팅 옵션이 아니라 최적화 학습 데이터까지 함께 바꾸는 설정이라, 바꾼 날을 기록하지 않으면 성과 하락과 설정 변경을 영영 구분할 수 없습니다. 7건 출처 20 MMM 모델의 입력 데이터 품질(누락·이상치)을 사전 검증하는 체크리스트 MMM은 집계 데이터를 먹고 도는 모델이라, 개별 태그 오류보다 '주 단위 합계의 정의가 언제부터 달라졌는지'가 훨씬 치명적입니다. 11건 출처 21 측정 신뢰도를 높이기 위한 광고주-대행사 간 데이터 공유 범위와 계약 조건 데이터 공유에 관한 표준 계약 문구는 존재하지 않습니다. 그래서 무엇을 합의 항목으로 올릴지 목록을 먼저 들고 들어가는 쪽이 협상에서 유리합니다. 10건 출처 22 증분성 실험 중 외부 변수(경쟁사 프로모션 등)의 영향을 통제하는 방법 실험 기간에 경쟁사가 세일을 시작하면 리프트 수치가 흔들리는 게 아니라, 그 리프트를 믿어도 되는지에 대한 근거가 무너집니다. 10건 출처 23 오프라인 전환(매장 방문·전화 문의)을 온라인 광고 성과에 연결하는 측정 설계 매장 방문과 전화 문의를 광고 성과에 붙이는 일은 연동 기술보다 '식별자를 어디서 받고 어떤 규칙으로 정규화할지'에서 성패가 갈립니다. 14건 출처 24 다중 기여 모델(멀티터치 어트리뷰션) 도입 시 각 채널의 가중치를 검증하는 방법 모델이 배분한 가중치는 그 자체로는 검증되지 않습니다. 실험으로 만든 외부 기준선과 대조해야 비로소 검증이 됩니다. 10건 출처 25 측정 신뢰성 감사(Measurement Audit)의 표준 점검 항목과 보고서 구성 감사의 목적은 틀린 숫자를 찾아내는 것이 아니라, 이 숫자를 어디까지 믿고 의사결정할 수 있는지의 범위를 확정하는 것입니다. 12건 출처 26 새 트래킹 시스템 도입 전 기존 시스템과 병행 운영(더블 트래킹)으로 검증하는 기간 "2주면 충분한가요"라는 질문에는 공식 답이 없습니다 — 우리 계정 전환 지연 분포로 기간을 계산하는 절차를 씁니다. 9건 출처 27 증분성 테스트에서 대조군에 광고를 노출시키지 않는 실무적 방법(홀드아웃 그룹) "예산을 줄여서 대조군을 만들었다"는 순간 그 실험은 이미 오염됐습니다 — 실제로 노출을 끊는 세 가지 경로를 정리합니다. 11건 출처 28 데이터 변경 이력(버전 관리)을 남기지 않아 과거 성과를 재현할 수 없었던 사례와 예방법 "작년 4분기 리포트 그 숫자, 다시 뽑아주세요"에 답하지 못하는 상황은 대부분 네 가지 유형 중 하나입니다. 11건 출처 29 통계적 오류(1종·2종 오류)가 마케팅 실험 해석에 미치는 실무적 영향 "유의하지 않았다"는 결과가 "효과가 없다"는 뜻이 아닌 이유, 그리고 그 착각이 예산을 어떻게 잘못 옮기는지 정리합니다. 7건 출처 30 측정 신뢰성 문제로 광고주와 분쟁이 생겼을 때 근거 자료를 제시하는 방법 분쟁이 터진 뒤에 만들 수 있는 자료는 거의 없습니다 — 계약 시점부터 무엇을 남겨야 근거가 되는지 정리합니다. 12건 출처 31 MMM과 어트리뷰션을 함께 쓸 때 각각의 역할(장기 전략 vs 단기 최적화)을 구분하는 기준 두 숫자가 다를 때 어느 쪽이 맞느냐를 다투는 대신, 어떤 질문에 어느 도구를 쓸지 먼저 나눠두는 방법입니다. 12건 출처 32 신규 매체 추가 시 기존 어트리뷰션 모델의 재검증이 필요한 이유 매체 하나를 더한 순간, 기존 채널들의 기여도 숫자도 같이 움직입니다 — 어디를 다시 봐야 하는지 정리합니다. 13건 출처 33 측정 운영 매뉴얼(누가·언제·무엇을 검증하는지)을 문서화해 담당자 교체에 대비하는 법 담당자가 바뀔 때 사라지는 것은 계정 비밀번호가 아니라 "이 숫자를 왜 이렇게 뽑았는지"입니다. 11건 출처