PerplexityBot(색인용)과 Perplexity-User(실시간 조회 에이전트)는 성격이 달라 접근 정책도 분리해야 한다
OpenAI는 GPTBot·OAI-SearchBot·ChatGPT-User 세 크롤러를 독립적으로 허용·차단할 수 있게 설계했다
구글봇·GPTBot·ClaudeBot 등 주요 크롤러는 대체로 robots.txt를 준수하지만, 일부 크롤러는 이를 무시한다고 알려져 있어 robots.txt만으로 완전한 차단을 보장하기 어렵다
robots.txt 변경 후 검색 결과 반영까지 약 24시간 지연이 있는 것으로 알려져 있다
학습 차단과 검색 노출 허용을 분리하는 설정이 브랜드 입장에서 실무적으로 가장 균형 잡힌 기본값이다
크롤러 접근을 열어도 가격·급여·마감일처럼 바뀌는 값을 자바스크립트로만 채우면 원본 HTML을 읽는 AI 크롤러에게는 전달되지 않는다
왜 크롤러를 하나로 뭉뚱그려 막거나 열면 안 되나
"AI 봇 전부 차단" 또는 "AI 봇 전부 허용" 중 하나로 단순하게 접근하는 사이트가 여전히 많습니다. 문제는 같은 회사가 운영하는 크롤러라도 목적이 완전히 다르다는 점입니다. OpenAI는 모델 학습용 GPTBot, 챗GPT 서치 노출용 OAI-SearchBot, 사용자 요청을 대신 수행하는 ChatGPT-User를 별도 user-agent로 분리해 운영하며, robots.txt에서 각각을 독립적으로 제어할 수 있게 설계했습니다(OpenAI 공식 개발자 문서). GPTBot을 통째로 차단하면 콘텐츠가 모델 학습에 쓰이지 않게 막을 수 있지만, 동시에 OAI-SearchBot까지 막아버리면 챗GPT 서치 결과에도 노출되지 않게 됩니다. 즉 "AI 봇 전체 차단"은 학습 데이터 보호와 검색 노출 기회를 동시에 포기하는 선택이라는 점을 알고 결정해야 합니다.
Perplexity 쪽도 마찬가지입니다. PerplexityBot은 색인·학습용 크롤러로 robots.txt를 준수하지만, Perplexity-User는 이용자를 대신해 실시간으로 페이지를 열어보는 에이전트에 가까워 robots.txt를 반드시 따르지는 않는다는 입장이 알려져 있습니다(Perplexity 공식 문서 기준 PerplexityBot 차단은 학습 활용만 막는다고 명시). 따라서 robots.txt에 PerplexityBot만 적어두고 안심하면, 실시간 답변 인용 자체를 막으려던 의도와 어긋날 수 있습니다.
실무적으로 어떤 기본값을 권장할 수 있나
브랜드 입장에서 균형 잡힌 기본값은 대체로 "학습용 크롤러는 선택적으로 차단하고, 검색·인용용 크롤러는 허용한다"는 원칙입니다. robots.txt 예시로는 다음과 같은 구조를 생각해볼 수 있습니다.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
이렇게 설정하면 콘텐츠가 OpenAI 모델 학습 데이터로 그대로 흡수되는 것은 막으면서도, 챗GPT 서치와 퍼플렉시티 답변에는 계속 인용될 수 있는 상태를 유지할 수 있습니다. 다만 이는 하나의 예시 원칙일 뿐이며, 콘텐츠 라이선싱 정책이나 경쟁사 학습 데이터 유출 우려 수준에 따라 회사마다 GPTBot 허용 여부에 대한 판단은 달라질 수 있습니다.
robots.txt만으로 충분한가
robots.txt는 어디까지나 "신사협정"에 가까운 규약입니다. 구글봇·GPTBot·ClaudeBot 등 주요 크롤러는 대체로 이를 준수하지만, ByteSpider 같은 일부 크롤러는 robots.txt를 무시하는 것으로 알려져 있어 robots.txt 설정만으로 완전한 차단을 보장할 수는 없습니다. 정말로 특정 크롤러의 접근을 막아야 하는 상황이라면, 서버·CDN 단에서 user-agent나 IP 대역 기준으로 추가 차단 규칙을 두는 방식을 함께 검토해야 합니다.
설정을 바꾼 뒤에는 무엇을 확인해야 하나
robots.txt를 수정했다고 즉시 결과가 바뀌지는 않습니다. OpenAI 계열 크롤러는 robots.txt 변경 후 검색 결과 반영까지 대략 24시간 정도 지연이 있는 것으로 알려져 있어(정확한 수치가 공식 공개된 것은 아님), 설정을 바꾼 당일에는 예전 상태 그대로 보일 수 있습니다. 실무에서는 robots.txt 수정 직후 서버 로그에서 해당 user-agent의 실제 접속 기록이 새로 남는지부터 확인하고, 하루 이상 지난 뒤에도 원하는 결과가 안 나온다면 그때 재점검하는 순서가 안전합니다.
접근을 열어 둔 뒤 확인할 것: 크롤러가 받는 원본에 값이 있나
이 편의 목표인 「실시간 정보 매칭」은 크롤러가 들어오는 것만으로 끝나지 않습니다. Vercel의 2024년 12월 분석에서 OpenAI 세 크롤러와 PerplexityBot은 자바스크립트를 실행하지 않았습니다. 그러니 가격·재고·급여·마감일처럼 자주 바뀌는 값을 페이지가 열린 뒤 자바스크립트로 불러와 채우면, 이 크롤러들이 받는 원본 HTML에는 그 값이 없습니다. 대형 물류 기업 A의 채용 포털도 공고별 급여가 화면에는 있었지만 원본 HTML에는 없었습니다.
실무 기본값은 두 가지입니다. 첫째, 바뀌는 값은 서버 렌더링이나 프리렌더로 원본 HTML에 넣고, 값마다 기준일을 함께 적습니다. 둘째, robots.txt를 바꾼 뒤 서버 로그를 볼 때 해당 크롤러가 받은 응답에 실제 본문이 담겨 있었는지도 함께 확인합니다.
다음 행동
지금 사이트의 robots.txt를 열어 GPTBot·OAI-SearchBot·ChatGPT-User·PerplexityBot·Perplexity-User 다섯 가지가 각각 명시적으로 설정돼 있는지 확인해보세요. 설정이 아예 없어 기본값(허용)으로 방치돼 있다면, 그 상태가 회사의 콘텐츠 라이선싱 방침과 일치하는지부터 점검하고, 필요하면 서버 로그에서 각 user-agent의 실제 접속 빈도까지 함께 살펴보는 것이 좋습니다.
← 이전 글 · 레슨 02 AI 에이전트 인용 알고리즘 분석: 대화형 AI가 실시간 웹 검색 후 답변을 요약할 때 상위 출처 배지(Source Badge)로 채택하는 문서들의 코드 구조
CHALLENGE
배운 걸 실전 문제로 확인
카테고리별 Level Test로 실무 레벨을 점검해보세요.