← 아카데미 academy 30강. 실습 5: A/B 테스트 1회 설계·실행·결과 정리 예상 8분

들어가며

• 26~27강 내용을 실제 캠페인 또는 시뮬레이션 데이터에 적용해 테스트를 마무리한다.
• A/B 테스트 결과 리포트를 처음부터 끝까지 완성해본다.

지금까지 배운 것을 한 번에 이어 붙여보기

25강에서 판단 KPI를 정했고, 26강에서 A/B 테스트를 설계했고, 27강에서 결과를 프롬프트 개선으로 연결하는 법을 익혔습니다. 이번 실습에서는 이 세 강의 내용을 처음부터 끝까지 한 번에 이어 붙여, 하나의 완결된 결과 리포트를 만들어보겠습니다.

실제 캠페인이 진행 중이라면 그 데이터를 그대로 쓰셔도 좋고, 아직 캠페인을 돌릴 준비가 안 됐다면 아래 가상 사례처럼 시뮬레이션 데이터로 연습하셔도 됩니다. 중요한 건 숫자 자체가 아니라 "설계부터 결과 정리까지의 흐름"을 몸에 익히는 것입니다.

가상 사례: 어린이 학습교구 브랜드 '놀이수학'

가상의 학습교구 브랜드 놀이수학이 신제품 도형 교구 광고 카피를 테스트한다고 가정하겠습니다.

1단계. 판단 KPI 선정 (25강 연결)

소재 목적은 "광고 클릭 유도"로 정했습니다. 1순위 KPI는 클릭률(CTR)로, 2순위 참고 지표로 상세페이지 체류시간을 함께 봅니다.

2단계. A/B 테스트 설계 (26강 연결)

• A안(AI 초안 그대로): "우리 아이 창의력 발달에 좋은 도형 교구, 놀이수학에서 만나보세요."
• B안(사람이 다듬은 버전): "블록만 쌓던 아이가 도형 이름을 먼저 말하기 시작했어요. 무슨 일이 있었을까요?"
• 고정 요소: 동일한 상세페이지, 동일한 상품 이미지, 동일 타겟(만 3~6세 자녀를 둔 부모), 동일 예산(각 10만 원)
• 기간: 5일
• 목표 표본: 각 안당 클릭 수 최소 80건 이상

3단계. 테스트 실행 및 데이터 수집

5일간 광고를 노출한 결과, 아래와 같은 데이터가 나왔다고 가정하겠습니다.

구분	노출 수	클릭 수	클릭률(CTR)	평균 체류시간
A안	12,400	149	1.20%	38초
B안	12,100	267	2.21%	1분 12초

목표 표본(각 80건)을 두 안 모두 충분히 넘겼으므로 결과를 판단할 준비가 된 상태입니다.

4단계. 결과 해석 (27강 연결)

B안의 클릭률이 A안보다 약 1.8배 높았고, 체류시간도 약 두 배 길었습니다. 이 차이를 "왜"까지 들어가 읽어보면, B안은 "블록만 쌓던 아이가 도형 이름을 먼저 말하기 시작했어요"라는 구체적인 변화 장면을 제시하고, "무슨 일이 있었을까요?"라는 질문형으로 클릭을 유도했습니다. 반면 A안은 "창의력 발달에 좋은"이라는 일반적이고 추상적인 표현에 머물렀습니다.

이 패턴은 26강 예시(집밥한상)와도 결이 비슷합니다. 구체적인 상황 묘사와 질문형 마무리가 이번에도 통했다는 점에서, 이 팀의 프롬프트 개선 이력에 "구체적 상황 묘사 + 질문형 마무리" 패턴이 한 번 더 쌓이는 셈입니다. 다만 이번 한 건만으로 이 패턴이 모든 소재에 통한다고 단정하지 않고, "학습교구·부모 타겟 소재에서도 재확인됨" 정도로 조건을 좁혀 기록하는 것이 안전합니다.

5단계. 다음 프롬프트로 번역

• 기존 프롬프트: "어린이 학습교구 신제품 광고 카피를 써줘. 대상은 만 3~6세 자녀를 둔 부모."
• 개선된 프롬프트: "어린이 학습교구 신제품 광고 카피를 써줘. 대상은 만 3~6세 자녀를 둔 부모. 아이에게 실제로 나타날 수 있는 구체적인 행동 변화를 한 장면으로 묘사하고, 마지막은 궁금증을 유발하는 질문형 문장으로 끝내줘. '창의력 발달', '두뇌 발달'처럼 추상적인 표현은 쓰지 마."

이 개선된 프롬프트는 다음 신제품 광고를 만들 때 그대로 재사용할 수 있는 자산이 됩니다.

결과가 기대와 다르게 나왔다면

이번 사례는 B안이 이긴 경우로 예를 들었지만, 실제로는 A안(AI 초안 그대로)이 더 나은 결과를 낼 때도 많습니다. 그럴 때는 "역시 사람이 다듬어야 좋다"는 선입견을 버리고, "이번엔 AI 초안이 왜 더 잘 통했을까"를 똑같이 분석하면 됩니다. 예를 들어 AI 초안이 담백하고 정보 위주였는데 그게 오히려 신뢰감을 줬을 수도 있습니다. 어느 쪽이 이기든 "왜 이겼는지"를 읽어내는 태도가 25강부터 이어온 원칙입니다.

실무 산출물: A/B 테스트 결과 리포트

[A/B 테스트 결과 리포트]

캠페인/소재명:              작성일:

1. 테스트 개요
- 가설:
- 판단 KPI(1순위):
- A안(AI 초안):
- B안(사람이 다듬은 버전):
- 테스트 기간:            / 예산 배분:

2. 결과 데이터
| 구분 | 노출 수 | 클릭 수 | 클릭률 | (2순위 지표) |
|---|---|---|---|---|
| A안 |        |        |       |             |
| B안 |        |        |       |             |

3. 목표 표본 도달 여부
- [ ] A안 목표 표본 도달 (      건)
- [ ] B안 목표 표본 도달 (      건)
- 미도달 시: 판단 보류하고 기간 연장

4. 결과 해석
- 승자:
- 이긴 요소(구체적 상황/숫자/질문형/기타):
- 이 결과가 통한 조건(타겟/소재 목적/채널):
- 이번 결과가 이전 테스트와 같은 패턴인가, 새로운 패턴인가:

5. 다음 프롬프트로 번역
- 기존 프롬프트:
- 개선된 프롬프트:

6. 다음 액션
- [ ] 이 카피(승자)로 본 캠페인 전환
- [ ] 개선된 프롬프트로 유사 소재 추가 테스트
- [ ] 27강 프롬프트 개선 이력에 등록

이 리포트 하나만으로도 25~27강에서 배운 내용을 실전에 적용한 하나의 완결된 사례가 됩니다. 다음 레슨부터는 이렇게 쌓아온 프롬프트, 검수 체계, 테스트 절차를 팀 전체가 볼 수 있는 문서로 정리하는 단계로 넘어갑니다.

즉시 확인

1. 목표 표본에 도달하지 못한 상태에서 결과를 판단하면 안 되는 이유는 무엇인가요?
2. B안이 이겼을 때 "왜 이겼는지"를 읽어내는 것이 중요한 이유는 무엇인가요?
3. A안(AI 초안 그대로)이 이겼을 때 어떤 태도로 결과를 받아들이는 것이 맞나요?

정답·해설

1. 표본이 부족하면 우연에 의한 차이일 가능성이 커서, 실제 패턴이 아닌 것을 패턴으로 잘못 판단할 수 있기 때문입니다.
2. 이긴 이유를 구체적인 프롬프트 지시로 번역해야 다음 소재에도 재사용할 수 있는 자산이 되기 때문입니다.
3. "역시 AI가 낫다" 혹은 "역시 사람이 필요 없다"로 단정하지 않고, A안이 왜 통했는지를 똑같이 분석해 다음 프롬프트 개선에 반영하는 태도가 맞습니다.

다음 레슨

팀 워크플로우 문서화: 신입도 따라할 수 있는 SOP 만들기에서 지금까지 만든 프롬프트·검수 체계·테스트 절차를 신입이 봐도 따라할 수 있게 문서화합니다.

핵심 정리

1. 판단 KPI 선정, A/B 테스트 설계, 결과 해석, 프롬프트 개선까지 이어지는 흐름을 실제 데이터로 한 번 완주해보면 이후 반복이 훨씬 수월해집니다.
2. 어느 쪽이 이기든 승패 자체보다 "왜 이겼는지"를 구체적인 요소로 읽어내는 것이 다음 소재에 재사용할 수 있는 진짜 자산입니다.
3. 결과 리포트는 데이터, 해석, 프롬프트 번역, 다음 액션까지 한 문서에 담아야 팀이 다음에 참고할 수 있는 완결된 자산이 됩니다.

→ 이 강의 퀴즈 풀어보기 (챌린지)