12CODE

라이브러리 238

마케팅 성과 검증·증분효과 실험

238 · 수집일 2026-09-01 · 팩트 11건

핵심 팩트

11건
확실 공식
구글 브랜드 광고 효과 측정(Brand Lift) 설문에서 광고주가 선택할 수 있는 측정 항목은 광고 회상도, 인지도, 연결, 구매 고려도, 호감도, 구매 의도와 맞춤 측정항목이며, 한 스터디에서 최대 3개까지 선택한다.
주의측정 항목 수를 늘리면 요구 예산이 올라간다. 항목을 3개까지 담을 수 있다는 것과 3개를 담아야 한다는 것은 다르다. (같은 고객센터 문서의 질문 수별 최소 예산 표)
확실 공식
구글 고객센터는 브랜드 광고 효과 측정 최소 예산을 국가군별로 다르게 제시하며, 한국이 속한 국가군(C) 기준으로 질문 1개짜리 스터디는 15,000달러, 질문 3개짜리 스터디는 60,000달러가 필요하다고 안내한다.
주의달러 표기 기준이라 환율에 따라 원화 소요액이 달라지고, 국가군 분류와 금액은 개정될 수 있다. 집행 직전 고객센터 원문과 매체 담당자에게 재확인해야 한다. (고객센터 문서가 국가군별 표 형태로 금액을 제시하고 개정 이력을 남기는 구조임)
확실 공식
브랜드 광고 효과 측정 설문은 시청자 1명당 하루 최대 1회, 주 최대 3회까지 노출되며 같은 제품·브랜드에 대해서는 14일 이내 1회만 응답할 수 있다. 설문 승인에는 최대 48시간이 걸린다.
주의노출 제한이 있어 원하는 응답 수를 모으는 데 걸리는 기간이 예산뿐 아니라 도달 모수에도 좌우된다. 승인 48시간을 일정에 반영하지 않으면 캠페인 시작일과 스터디 시작일이 어긋난다. (같은 고객센터 문서의 설문 빈도·승인 소요시간 안내)
확실 공식
메타 마케팅사이언스팀이 공개한 오픈소스 지오 실험 프레임워크 GeoLift는 합성 대조군 방법론(Synthetic Control Methods)을 기반으로 하며, 증강 합성 대조군(ASCM)과 일반화 합성 대조군(GSC)을 결합하고 모수 부트스트랩으로 신뢰구간을 산출한다.
주의합성 대조군은 사전 기간 데이터가 충분하고 대조군 후보 지역이 많을 때 성립한다. 지역 수가 적으면 합성 대조군을 만들 조합 자체가 부족해 결과 신뢰구간이 넓어진다. (GeoLift 문서가 소규모 표본 보정을 위해 GSC를 결합한다고 밝힌 대목)
확실 공식
GeoLift는 테스트 시장이 정해졌을 때 필요한 기간·투자액을 계산하는 기능, 최적 테스트 시장 수를 구하는 기능, 데이터 기반으로 테스트 시장을 선정하는 기능 등 세 갈래의 검정력(power) 계산기를 제공하며, 저장소는 github.com/facebookincubator/GeoLift이고 R 4.0.0 이상을 요구한다.
주의R 기반 도구라 사내에 R 실행 환경과 지역별 시계열 데이터(패널 형식)를 만들 인력이 없으면 도입 자체가 병목이 된다. 도구가 대조군 선정의 판단까지 대신해 주지는 않는다. (저장소가 R 4.0.0 이상을 요구하고 패널 데이터 입력을 전제로 하는 점)
확실 공식
구글 애즈 매장 방문 전환은 한국을 포함한 대상 국가에 매장이 있어야 하고, 위치 확장(또는 제휴사 위치 확장)을 사용해야 하며, 비즈니스 프로필 위치 인증과 충분한 광고 클릭·노출 및 방문 데이터가 있어야 측정된다. 검색·디스플레이·유튜브 네트워크에서 지원되며 매장 방문과 매장 판매 중 하나만 선택할 수 있다.
주의위치 확장이 비활성화되면 보고가 끊긴다. 실험 기간 중 위치 확장 설정을 건드리면 실험군·대조군의 측정 조건이 달라져 결과가 무효가 될 수 있다. (같은 고객센터 문서의 '위치 확장 비활성화 시 보고되지 않음' 안내)
확실 공식
매장 방문 전환 수치는 개별 사용자 추적값이 아니라 익명 집계 데이터와 모델링으로 산출한 추정치이며, 구글은 1,000만 명 이상 규모의 오피니언 리워드 참여자 패널 설문으로 모델을 검증한다고 안내한다. 개인정보 보호 임계값을 넘길 만큼 데이터가 모이지 않으면 계정에 수치가 표시되지 않는다.
주의모델링된 추정치는 절대 건수로 읽으면 안 된다. 실험군·대조군 사이의 상대 차이를 보는 용도로만 쓰고, 그마저 임계값 미달 구간에서는 비교 자체가 불가능하다. (고객센터가 모델링 수치임과 광고주별로 임계값 충족 여부가 다름을 명시한 대목)
유력 2차
연구 사전등록(pre-registration)에서 가장 널리 쓰이는 양식은 가설·설계·표본 계획·분석 계획을 포괄하는 OSF Preregistration 템플릿과, 한 페이지 분량의 9개 문항으로 구성된 AsPredicted 양식이다. 두 양식 모두 분석을 시작하기 전에 무엇을 어떻게 검정할지 먼저 확정해 기록하는 것을 목적으로 한다.
주의학술 연구용 양식이라 마케팅 실험에 그대로 옮기면 항목이 남거나 모자란다. 개별 문항 문구는 2차 정리 자료마다 조금씩 다르므로 양식 원문에서 확인해야 한다. (동일 문서가 템플릿별로 요구 항목의 상세도가 다르다고 설명하는 대목)
확실 공식
국가통계포털(KOSIS)이 제공하는 시도 소매판매액지수는 17개 시도별로 백화점, 대형마트, 면세점, 슈퍼마켓·잡화점 및 편의점, 승용차·연료소매점, 전문소매점 등 6개 업태별 구조로 작성되며, 지역 소비 동향을 파악하는 기초자료로 안내된다.
주의업종 구조가 자사 카테고리와 다르면 지역 매칭의 보조 지표로만 써야 한다. 공표 시차가 있어 실험 직전 주 단위 판단에는 쓸 수 없다. (지수 통계가 월·분기 단위 공표 구조인 점)
확실 공식
KOSIS의 시도 서비스업생산지수는 17개 시도별로 한국표준산업분류 13개 대분류에 해당하는 자료로 작성되어, 지역별 서비스업 경기 흐름을 비교하는 데 쓸 수 있다.
주의산업 대분류 단위라 특정 브랜드의 수요와 직접 대응하지 않는다. 자사 매출 시계열이 있으면 그쪽이 항상 우선한다. (대분류 단위 집계 지수의 일반적 한계)
확실 2차
증분 실험은 표본·기간·판정 기준을 실험 시작 전에 확정해야 하며, 표본 크기 계산에 필요한 입력은 검정력(관행 80%), 유의수준(관행 95%, α=0.05), 최소 검출 가능 효과(MDE), 기준 전환율 네 가지다. 80%·95%는 업계 관행이지 법정 기준이 아니다.
주의사후에 검정력을 계산해 결과를 정당화하는 방식은 통계적으로 오해를 부른다. 계산은 반드시 시작 전에 한다. (235 과목이 같은 근거로 사후 검정력 계산을 경계한 서술)
출처: 12code 라이브러리 facts/235_측정신뢰성관리증분성어트리뷰션MMM.json(ab-test-sample-size-four-inputs) 재확인