자바스크립트로만 그리는 페이지(SPA)와 AI 크롤러 · 채용공고 구조화 데이터 · 봇 차단 점검법 · 네이버 AI 브리핑 인용 관찰

Vercel 이 자사 네트워크의 AI 크롤러 요청을 분석한 결과, OpenAI(GPTBot · OAI-SearchBot · ChatGPT-User) · Anthropic(ClaudeBot) · Meta(Meta-ExternalAgent) · ByteDance(Bytespider) · Perplexity(PerplexityBot) 크롤러는 자바스크립트를 실행하지 않았다. 자바스크립트 파일을 내려받기는 하지만 실행하지 않아, 브라우저에서 자바스크립트로 그려지는 본문은 읽지 못한다.

같은 분석에서 자바스크립트를 실행하는 쪽은 Googlebot 기반 인프라를 쓰는 Google Gemini 와 브라우저 방식으로 페이지를 그리는 AppleBot 이었다.

클라이언트에서 자바스크립트로 그리는 페이지(React · Vite 계열 SPA)는 원본 HTML 에 본문이 전혀 없을 수 있다. 실측한 채용 페이지 2곳은 원본 HTML 이 몇 KB 짜리 설정 · 추적 스크립트뿐이었고, 사람이 브라우저에서 보는 글은 모두 자바스크립트 실행 뒤에야 생겼다. 확인법은 브라우저의 페이지 소스 보기(또는 curl)로 받은 원본과 렌더 결과의 본문 글자 수를 비교하는 것이다.

SPA 호스팅은 없는 경로를 첫 화면 HTML(index.html)로 돌려주도록 설정되는 경우가 많다. 이때 /sitemap.xml 과 /robots.txt 가 상태 코드 200 으로 열려 파일이 있는 것처럼 보이지만, 내용은 사이트맵이 아니라 첫 화면 HTML 이다. 상태 코드가 아니라 응답 내용(XML 인지, 주소가 몇 개인지)과 Content-Type 으로 확인해야 한다.

누르면 펼쳐지는 FAQ(아코디언)는 답이 화면에서만 숨겨져 있고 DOM 에는 들어 있는 경우가 많다. 이때 innerText 로 글자 수를 세면 숨긴 답이 빠져 「답이 없다」로 오판한다. textContent 로 함께 세야 하고, 원본 HTML 에도 있는지는 따로 본다(SPA 면 원본에는 없다).

구글은 요청이 진짜 Googlebot 인지를 사용자 에이전트(User-Agent) 문자열이 아니라 역방향 · 정방향 DNS 조회나 공개 IP 대역으로 확인하라고 안내한다. 그래서 내 컴퓨터에서 User-Agent 만 Googlebot · Yeti · GPTBot 으로 바꿔 보낸 요청이 봇 관리 솔루션에 403 으로 막혀도, 실제 검색엔진 크롤러가 막혔다는 증거는 아니다. 실제 접근은 서버 로그, 구글 서치 콘솔 URL 검사, 네이버 서치어드바이저 수집 현황으로 확인한다.

구글 채용공고(JobPosting) 구조화 데이터의 필수 속성은 datePosted(게시일) · description(공고 본문, HTML) · hiringOrganization(채용 회사) · jobLocation(근무지) · title(직무명)이고, 마감일이 있는 공고는 validThrough 도 필수다. 권장 속성은 baseSalary(급여) · employmentType(고용 형태) · directApply · identifier · jobLocationType · applicantLocationRequirements 다.

채용공고 구조화 데이터는 구직자가 브라우저에서 읽는 공고 본문과 같은 페이지에 있어야 한다. 마감된 공고는 validThrough 를 지난 날짜로 바꾸거나, 페이지를 404 · 410 으로 내리거나, 구조화 데이터를 지우는 방법 중 하나로 정리해야 한다.

구글 채용 검색 경험(검색 결과 안 채용정보 표시)이 제공되는 지역 목록의 아시아 항목에 한국은 없다(방글라데시 · 홍콩 · 인도 · 인도네시아 · 일본 · 카자흐스탄 · 키르기스스탄 · 말레이시아 · 파키스탄 · 필리핀 · 싱가포르 · 스리랑카 · 대만 · 태국 · 우즈베키스탄 · 베트남). 한국 채용 페이지에 JobPosting 을 넣는 값은 구글 채용 검색 노출보다, 검색엔진과 AI 가 공고의 급여 · 근무지 · 마감일을 기계적으로 읽게 하는 데 있다.

2026년 9월 대형 물류 기업의 채용 관련 검색어를 네이버에서 실측하니, AI 브리핑은 그 회사의 공식 채용 페이지를 인용하지 않았다. 대표 검색어에서는 같은 그룹 계열사의 채용 페이지와 커뮤니티 게시판을, 「○○ 알바 시급」에서는 외부 구인 정보 사이트를 인용해 3년 전 최저시급을 답했다. 공식 채용 포털에는 공고별 급여가 이미 있었지만 원본 HTML 에는 없었다(자바스크립트로만 표시).