편향을 만드는 문항은 어떻게 생기는가

설문 문항이 편향을 만드는 경로는 크게 두 가지입니다. 하나는 유도 신문(Leading Question)으로, 질문 문장 자체에 특정 답을 암시하는 표현이 들어간 경우입니다. "혁신적인 신제품 A에 대해 어떻게 생각하십니까?"라는 문항은 "혁신적인"이라는 수식어가 이미 긍정 평가를 유도합니다. 이 문제를 의도적으로 심하게 활용해 "시장 반응 최고"라는 가짜 보고서를 만든 사례는 7강에서 실제 실패 케이스로 다룹니다. 다른 하나는 이중 질문(Double-barreled Question)으로, 한 문항에 두 개 이상의 쟁점을 동시에 묻는 경우입니다. "가격이 합리적이고 디자인이 마음에 드십니까?"라는 문항은 가격엔 만족하지만 디자인은 불만인 응답자가 답을 고를 수 없게 만듭니다. 이런 문항은 응답자의 진짜 생각이 아니라 설계자가 원하는 답을 향해 응답을 밀어넣는 구조적 함정입니다.

편향을 줄이는 실무 원칙은 단순합니다. 문항에 형용사·부사를 최소화하고, 하나의 문항은 하나의 쟁점만 묻고, 질문 순서를 긍정 유도 순서(예: 만족도 높은 항목부터 배치)로 짜지 않는 것입니다. 특히 브랜드명이나 자사 제품명을 문항 앞부분에 반복 노출시켜 응답자가 "이 조사가 원하는 답"을 눈치채게 만드는 설계는 피해야 합니다.

리커트 척도, 5점과 7점 중 무엇을 쓸 것인가

리커트 척도(Likert Scale)는 "매우 그렇다"부터 "전혀 그렇지 않다"까지 응답자의 동의 정도를 단계별로 답하게 하는 방식으로, 통상 2~7단계로 구성하며 실무에서는 5점 척도와 7점 척도가 가장 널리 쓰입니다. 5점 척도는 응답자가 직관적으로 고르기 쉽고 통계적 신뢰도 확보 측면에서 실무에 더 흔하게 채택되는 편입니다. 다만 이 선택이 절대적 정답은 아니며, 세부 감정 차이를 더 정밀하게 구분하고 싶을 때는 7점 척도를 쓰는 경우도 있습니다 — 두 방식 중 어느 쪽이 "옳다"기보다, 분석 방법(예: 이후 요인분석 계획 여부)과 응답자의 인지 부담을 함께 고려해 선택하는 것이 실무적입니다.

척도를 구성하는 문항 수와 신뢰도의 관계도 함께 봐야 합니다. 하나의 개념(예: 브랜드 신뢰도)을 측정하는 문항 수가 늘어날수록 척도의 신뢰도·타당도는 통상 높아지지만, 관련 연구에 따르면 문항 수가 8개 지점을 넘어서면 신뢰도 증가폭이 눈에 띄게 둔화되는 경향이 보고된 바 있습니다. 이는 특정 연구의 결과이므로 모든 척도에 그대로 적용되는 법칙으로 단정하기보다는, 실제 설계 시 파일럿 테스트로 자체 신뢰도(Cronbach's α)를 확인하는 것이 안전합니다.

응답 이탈은 어디서 발생하고 어떻게 막는가

설문 응답 이탈(Drop-off)은 대부분 문항 수와 소요 시간에서 비롯됩니다. 모바일 환경에서 응답을 완료하는 데 필요한 시간이 길어질수록 중간에 다른 작업으로 전환해 이탈할 확률이 높아지므로, 모바일 기준 5분 이내에 끝낼 수 있는 문항 수·난이도로 설문 전체 분량을 통제하는 것이 실무 원칙으로 통용됩니다. 예를 들어 오픈서베이의 에이전틱 서베이 상품이 "19문항 이내"를 별도의 가격·속도 기준선으로 제시하는 것도 이런 이탈 방지 원칙과 무관하지 않습니다.

문항 수를 줄이는 것만으로는 부족합니다. 응답의 질을 지키기 위한 장치도 함께 넣어야 합니다. 역문항(Reverse-coded Item, 같은 개념을 반대로 표현한 문항)을 섞으면 모든 문항에 기계적으로 "매우 그렇다"만 누르는 예스맨 응답을 걸러낼 수 있고, 주의집중 문항(Attention Check, "이 문항에는 '3번'을 선택해주세요" 같은 지시형 문항)을 1~2개 배치하면 설문을 제대로 읽지 않은 불성실 응답을 사전에 차단할 수 있습니다.

문항 순서와 인구통계 질문의 위치

문항 순서도 편향에 영향을 줍니다. 민감하거나 답하기 어려운 질문을 설문 맨 앞에 배치하면 응답자가 부담을 느껴 이탈률이 높아지므로, 일반적으로 답하기 쉬운 질문(사용 경험 유무 등)을 앞에, 태도·평가 질문을 중반에, 성별·연령·소득 같은 인구통계 질문은 맨 뒤에 배치합니다. 인구통계 질문을 맨 앞에 두면 응답자가 "이 조사가 나를 분류하려는 목적"이라는 인상을 받아 뒤 문항에 방어적으로 답할 위험이 있기 때문입니다. 이렇게 확보한 인구통계 정보는 다음 레슨(3강)에서 다루는 표본 대표성 검증에 그대로 쓰입니다.

설계 완료 전 자체 점검 항목

문항 초안이 나오면 발주 전에 다음을 스스로 점검하는 것이 효율적입니다 — 형용사·부사가 답을 암시하지 않는가, 한 문항에 쟁점이 하나만 들어있는가, 척도 레이블(매우 그렇다~전혀 그렇지 않다)이 좌우 대칭인가, 전체 소요 시간이 5분을 넘지 않는가, 역문항·주의집중 문항이 최소 1개씩 포함되어 있는가. 이 점검을 조사 대행사에 발주하기 전 내부에서 먼저 끝내두면, 5강에서 다룰 대행사 커뮤니케이션 비용도 줄어듭니다.