세 지표는 각각 무엇에 반응하나

먼저 세 후보를 성격으로 갈라보겠습니다. 주문수는 최종 결과이자 가장 많은 변수가 섞이는 지표입니다. 자동응답을 손보지 않아도 날씨가 좋으면 오르고, 근처에 경쟁점이 열면 내려갑니다. 자동응답 하나의 효과를 여기서 읽어내려면 다른 변수를 걷어낼 방법이 있어야 하는데, 로컬 매장 규모에서는 대개 불가능합니다. 문의전환은 중간 결과입니다. 문의를 건 사람 중 실제 응대까지 이어진 비율, 응대까지 걸린 시간, 응대 뒤 예약·주문으로 넘어간 비율이 여기 들어갑니다. 자동응답이 직접 건드리는 것이 정확히 이 구간입니다. 재방문은 후행 결과입니다. 응대 경험이 좋았는지가 몇 주 뒤에 나타나는 지표이므로, 4주 실험으로 판단하기에는 주기가 맞지 않습니다. 그래서 순서는 이렇게 잡습니다. 1차는 문의전환, 2차는 주문수, 3차는 재방문입니다.

1차 지표를 어떻게 정의하나

문의전환을 지표로 쓰려면 정의를 먼저 고정해야 합니다. 매주 다른 방식으로 세면 비교가 성립하지 않습니다. 최소한 네 개를 정의합니다. 첫째, 문의 건수 — 새 대화가 열린 수입니다. 둘째, 첫 응답 시간 — 손님의 첫 메시지부터 사람의 첫 답장까지 걸린 시간이며, 자동응답이 나간 시각은 여기 포함하지 않습니다. 자동 인사말은 응답이 아니라 접수 확인이기 때문입니다. 셋째, 응대 완결률 — 열린 대화 중 손님의 마지막 질문에 답이 달린 비율입니다. 넷째, 행동 전환 — 대화 뒤 예약·주문·방문 예약으로 이어진 건수입니다. 이 네 개를 매주 같은 요일에 같은 방식으로 세어 표에 적습니다. 플레이스를 함께 운영한다면 스마트플레이스 통계에서 조회 수, 저장 수, 조회에서 전화·예약·길찾기로 이어지는 전환 비율, 검색 유입 키워드를 같이 기록해두면 문의 이전 구간의 변화도 함께 볼 수 있습니다. 다만 통계 화면의 항목명과 구성은 수시로 바뀌므로 이름을 외우지 말고 '조회 → 행동'이라는 구조만 기준으로 삼으세요.

기준선은 얼마나 확보해야 하나

비교 대상이 없으면 어떤 숫자도 해석되지 않습니다. 그래서 무엇을 바꾸기 전에 최소 4주치 기준선을 먼저 쌓아야 합니다. 광고 실험에서도 몇 주 단위의 관측 기간을 두고, 구매 주기가 긴 업종은 한 주기를 온전히 기다리는 것이 통상적인 실무입니다. 다만 톡톡·채널 자동응답에 적용되는 공식 권장 기간은 확인되지 않으므로, 아래 기간은 매장이 스스로 정하는 기준선으로 보시면 됩니다. 로컬 매장이라면 4주를 최소선으로 두되, 월초·월말이나 명절처럼 주기적 변동이 있는 업종은 한 주기를 온전히 담을 만큼 늘리는 편이 낫습니다. 기준선을 쌓는 4주 동안에는 자동응답 문구를 건드리지 않는 것이 핵심입니다.

바꿀 때는 어떤 규칙을 지키나

검증의 성패는 여기서 갈립니다. 유효한 비교는 두 안 사이에 바뀐 것이 하나뿐일 때만 성립합니다. 인사말 문구와 운영시간과 자주묻는질문 항목을 같은 날 전부 바꾸면, 결과가 좋아져도 나빠져도 원인을 지목할 수 없습니다. 그래서 한 번에 하나만 바꾸고 최소 2주는 그대로 둡니다. 비교는 반드시 같은 요일끼리 합니다. 화요일과 토요일의 문의량은 원래 다르므로 요일을 섞으면 착시가 생깁니다. 그리고 실험 기간에 외부 변수가 끼어들면 결과가 오염됩니다. 지역 축제, 방송 노출, 경쟁점 오픈, 대형 프로모션이 겹친 기간은 데이터에서 빼거나 실험을 다시 시작하는 것이 일반적인 대응입니다. 무엇을 언제 바꿨는지 날짜와 함께 적는 변경 이력이 없으면 이 판단 자체를 할 수 없으므로, 이력 시트는 지표 시트보다 먼저 만드세요.

숫자가 안 움직이면 실패인가

로컬 매장에서 가장 흔한 결과가 '차이가 있는지 없는지 모르겠다'입니다. 실험 결과가 통계적으로 유의미하지 않게 나오는 이유는 대체로 네 가지로 정리됩니다. 실험 기간 부족, 트래픽 자체 부족, 분할 비율이 너무 작음, 그리고 적용한 변경이 실제로 의미 있는 차이를 만들지 않음입니다. 월 문의가 수십 건인 매장은 두 번째와 세 번째에 구조적으로 해당합니다. 통계적 유의성을 얻는 것이 애초에 어렵다는 뜻입니다. 그렇다고 측정을 포기할 일은 아닙니다. 이 규모에서 쓸 수 있는 판단 기준은 세 가지입니다. 첫 응답 시간처럼 표본이 적어도 방향이 뚜렷한 지표를 보는 것, 응대 완결률처럼 비율로 읽어 규모의 영향을 줄이는 것, 그리고 손님이 남긴 문장을 그대로 모아 읽는 것입니다. "물어본 게 바로 나와서 좋았다" 같은 한 줄이 수치보다 정확한 신호일 때가 로컬에서는 자주 있습니다.