성공 사례만 남는 보고서의 문제

많은 월간 성과회의가 "이번 달 성과가 좋았던 캠페인" 위주로 구성됩니다. 이는 회의 분위기를 긍정적으로 만들지만, 동시에 실패한 시도나 기대에 못 미친 실험은 보고에서 자연스럽게 빠지게 됩니다. 문제는 이런 실패 사례에 다음 달 전략을 개선할 정보가 담겨 있다는 점입니다. 어떤 크리에이티브가 왜 반응이 낮았는지, 어떤 타겟팅이 예상과 다르게 작동했는지를 모르고 넘어가면, 같은 실수가 반복될 가능성이 커집니다.

실험이 실제로 있었는지 확인하는 질문

월간 회의에서 "이번 달 A/B 테스트를 몇 건 진행했나요?", "새로 시도한 크리에이티브 포맷이 있었나요?"라고 구체적으로 묻는 것이 효과적입니다. 이 질문에 명확한 답이 없다면, 대행사가 매달 비슷한 방식을 반복하고 있을 가능성을 의심해볼 수 있습니다. 반대로 실험 목록과 그 결과(가설, 실행 방법, 수치 결과)를 구체적으로 제시하는 대행사는 지속적으로 개선을 시도하고 있다는 신호로 볼 수 있습니다.

실패를 숨기지 않는 대행사가 신뢰할 수 있는 이유

실패한 시도를 감추지 않고 "이번 실험은 기대만큼 나오지 않았고, 원인은 이렇게 분석됩니다"라고 보고하는 대행사는, 단기적으로는 회의 분위기가 덜 긍정적일 수 있지만 장기적으로는 데이터를 있는 그대로 다루는 파트너일 가능성이 높습니다. 반대로 매달 모든 지표가 개선됐다고만 보고하는 대행사는, 실제로 개선되고 있거나, 불리한 데이터를 회의 자료에서 제외하고 있거나 둘 중 하나입니다. 후자의 가능성을 배제하려면 원본 데이터(4강에서 다룬 대시보드 열람 권한)와 회의 보고 내용을 주기적으로 대조해봐야 합니다.

다음 달 계획이 학습을 반영하는지 확인하기

월간 회의의 핵심은 "이번 달 무엇을 했는가"보다 "그래서 다음 달에 무엇을 다르게 할 것인가"입니다. 다음 달 계획이 이번 달 실패나 예상 밖 결과에서 나온 구체적인 학습을 반영하고 있는지 확인해야, 회의가 매달 같은 형식으로 반복되는 요식 행위에 그치지 않습니다. 예를 들어 "이번 달 특정 타겟군의 전환율이 낮았으니 다음 달은 타겟을 재조정한다"처럼 원인과 대응이 연결된 계획인지, 아니면 "다음 달도 비슷하게 진행하겠다"는 식의 형식적 계획인지를 구분해야 합니다.

실험 기록을 누적 관리하는 방법

매달 회의에서 나온 실험 목록(가설, 방법, 결과, 다음 조치)을 별도 문서에 누적해서 기록해두면, 몇 달 뒤 계약 갱신을 검토할 때 대행사가 실제로 얼마나 다양한 시도를 했는지, 그 시도들이 누적된 인사이트로 이어졌는지를 한눈에 볼 수 있습니다. 이 기록은 다음 편에서 다룰 미달 발생 시 재작업·환불 기준을 논의할 때도, 대행사가 문제를 인지하고 개선을 시도했는지를 보여주는 근거 자료로 쓸 수 있습니다.

회의 안건 자체를 표준화하는 방법

매달 회의 안건을 새로 정하기보다, "이번 달 성과 요약 → 진행한 실험과 결과 → 실패·미달 항목과 원인 → 다음 달 계획과 그 계획이 이번 달 학습을 어떻게 반영했는지" 네 단계로 안건을 고정해두면, 실패 항목이 회의에서 자연스럽게 다뤄지는 구조가 만들어집니다. 이 안건 순서를 계약 초기부터 대행사와 합의해두면, 담당자가 바뀌어도 회의 형식이 유지됩니다.

실패 보고를 문책이 아닌 개선 자료로 다루는 태도

실패 사례를 보고받았을 때 광고주가 즉시 문책하는 태도를 보이면, 다음 달부터 대행사는 실패를 숨기는 방향으로 움직일 유인이 생깁니다. 반대로 "이 실패에서 무엇을 배웠고 다음엔 어떻게 다르게 할 것인가"를 중심으로 대화를 이끌면, 대행사도 실패를 안전하게 보고할 수 있는 관계가 만들어집니다. 이 태도 차이는 장기적으로 대행사가 위험을 감수한 실험을 더 적극적으로 시도하게 만드는 요인이 됩니다.

실험 기록이 계약 갱신 협상의 근거가 되는 방식

계약 갱신 시점에 "이 대행사를 계속 쓸 것인가"를 판단할 때, 누적된 실험 기록은 매달의 성과 숫자보다 더 중요한 판단 근거가 될 수 있습니다. 꾸준히 새로운 시도를 하고 그 결과를 학습으로 연결해온 대행사는, 특정 달의 성과가 일시적으로 저조하더라도 장기적으로 신뢰할 수 있는 파트너일 가능성이 높습니다. 반대로 실험 기록이 거의 없이 매달 비슷한 보고서만 반복됐다면, 성과 숫자가 나쁘지 않더라도 정체된 파트너십일 수 있다는 신호로 봐야 합니다.

실험 기록을 정산 근거 자료와 같은 방식으로 관리하기

실험 목록을 회의 구두 보고로만 남기면, 몇 달 뒤 계약 갱신 시점에 정확히 어떤 실험이 있었는지 다시 확인하기 어렵습니다. 정산 근거 자료를 계약서에 명시해 분쟁을 줄이는 것과 같은 방식으로, 실험 기록도 가설·실행 방법·결과·다음 조치를 담은 서면 형식으로 매달 누적해두는 것이 효과적입니다. 이 서면 기록이 있으면 회의에 참석하지 못한 다른 담당자나 후임자도 지난 실험의 맥락을 빠르게 파악할 수 있고, 8강에서 다룰 산출물 정의서에 반영할 개선 항목을 고를 때도 근거 자료로 바로 활용할 수 있습니다. 기록 형식을 매달 동일하게 유지하면, 몇 달치를 나란히 놓고 봤을 때 어떤 유형의 실험이 반복적으로 성과를 냈는지도 함께 드러납니다.