다른 마케팅 과정에서 A/B 테스트를 배우셨다면 이미 알고 계시겠지만, 실전에서는 이미지, 헤드라인, 색상, 배치 등 한꺼번에 여러 요소를 바꿔가며 테스트하는 경우가 많습니다. 이 과정에서는 일부러 그 폭을 좁혀, "이 카피는 AI 초안 그대로인가, 사람이 다듬었는가"라는 축 하나만 보겠습니다.
이유는 25강에서 다룬 문제의식과 이어집니다. 우리 팀이 AI를 마케팅 자동화에 실제로 계속 쓸 수 있을지 판단하려면, "AI 초안을 그대로 써도 되는 경우"와 "반드시 사람 손을 거쳐야 하는 경우"를 데이터로 구분할 수 있어야 합니다. 이걸 감으로 판단하면 "AI가 쓴 카피는 왠지 못 미덥다"는 편견이나 "AI가 다 알아서 해줄 것"이라는 과신, 둘 중 하나로 쏠리기 쉽습니다.
A/B 테스트에서 가장 흔한 실수는 여러 변수를 동시에 바꾸는 것입니다. 예를 들어 A안은 "AI 초안 + 사진1"이고 B안은 "사람 카피 + 사진2"라면, 결과가 달랐을 때 그 차이가 카피 때문인지 사진 때문인지 알 수 없습니다.
최소 A/B 테스트는 이렇게 설계합니다.
이렇게 하면 결과 차이의 원인을 카피 하나로 좁혀서 해석할 수 있습니다. "이 상황에서는 사람이 다듬은 카피가 더 통했다" 혹은 "이 상황에서는 AI 초안 그대로도 충분했다"는, 다음 프롬프트 개선에 바로 쓸 수 있는 명확한 결론이 나옵니다.
비교가 공정하려면 짝짓는 방식도 중요합니다.
가상의 반찬 배달 서비스 집밥한상이 신규 가입 유도 광고를 테스트한다고 가정하겠습니다.
두 카피 모두 같은 상세페이지 링크, 같은 이미지, 같은 타겟(30대 직장인), 같은 예산으로 노출하고 클릭률만 비교합니다. 이렇게 하면 "AI 초안은 일반적인 메시지에 머물렀고, 사람이 다듬은 버전은 구체적인 장면을 넣었다"는 차이가 결과와 바로 연결됩니다.
정확한 통계적 유의성 계산은 이 과정의 범위를 벗어나지만, 실무에서 감을 잡는 기준은 이렇습니다.
표본이 충분히 쌓이지 않았는데 결과를 서둘러 판단하고 싶은 유혹이 들 수 있습니다. 그럴 때는 "지금은 판단 보류, 며칠 더 지켜보자"로 넘어가는 것이 그 자체로 올바른 판단입니다.
[A/B 테스트 설계표: AI 초안 vs 사람 카피]
1. 가설
- 우리가 확인하고 싶은 것: (예: 구체적 상황 묘사가 들어간 카피가 클릭률이 더 높을 것이다)
2. 변수
- 바꾸는 것(변수): 카피 문구
- A안(AI 초안 그대로):
- B안(사람이 다듬은 버전):
- 고정하는 것: 이미지/영상( ), 타겟( ), 게재 위치( ), 예산( )
3. 판단 KPI (25강에서 선정한 지표)
- 1순위 KPI:
- 목표 또는 비교 기준:
4. 기간과 표본
- 테스트 기간: (예: 5일)
- 목표 표본(클릭 수 등): A안( ), B안( )
- 예산 배분: A안( ), B안( ) (동일하게)
5. 종료 조건
- [ ] 목표 표본 도달
- [ ] 목표 기간 경과
- [ ] 둘 다 충족될 때까지 판단 보류
6. 담당자
- 테스트 세팅:
- 결과 확인 및 정리:
이 설계표는 27강에서 결과를 해석하고 프롬프트를 개선할 때 그대로 이어서 쓰게 됩니다. 지금 최대한 구체적으로 채워두면 다음 단계가 훨씬 수월해집니다.
A/B 테스트 결과 읽고 다음 프롬프트 개선하기에서 테스트 결과를 다시 프롬프트 수정으로 연결하는 피드백 루프를 다룹니다.