19강부터 23강까지는 무엇을 어떤 형태로, 어떤 순서로 쓸지를 다뤘습니다. 그런데 아무리 검색 의도에 맞게 잘 쓴 글이라도, 검색엔진이 그 페이지 존재 자체를 모르거나 "이 페이지는 보여주지 마세요"라는 신호를 받으면 검색 결과에 나타나지 않습니다. 이 상태를 "색인되지 않았다"고 합니다.
색인이 안 되는 원인은 크게 세 가지입니다. 하나씩 순서대로 확인하면 대부분의 경우 원인을 좁힐 수 있습니다.
robots.txt는 사이트 루트 주소 뒤에 붙는 텍스트 파일(예: 내사이트주소/robots.txt)로, 검색엔진 로봇에게 "이 폴더는 들여다보지 마세요"라고 알려주는 규칙 파일입니다. 개발 단계에서 테스트용으로 전체 크롤링을 막아뒀다가, 실제 서비스로 전환한 뒤에도 그 설정을 그대로 두는 실수가 흔합니다.
User-agent: *
Disallow: /
위와 같은 설정이 사이트 전체에 걸려 있으면, 아무리 좋은 콘텐츠를 발행해도 검색엔진이 사이트 자체에 접근하지 않습니다. 반대로 특정 폴더만 막고 싶다면 그 폴더 경로만 정확히 지정해야 합니다. 관리자 페이지나 장바구니 같은 폴더는 막아도 되지만, 블로그나 상품 상세페이지 폴더를 실수로 함께 막는 경우가 있습니다.
noindex는 페이지 안에 심는 표시로, "이 페이지는 검색 결과에 올리지 마세요"라는 뜻입니다. robots.txt가 사이트 전체 또는 폴더 단위로 접근 자체를 막는 것이라면, noindex는 페이지 하나하나에 붙는 개별 표시입니다.
이 표시는 아래 두 곳 중 하나에서 확인할 수 있습니다.
<head> 영역에 <meta name="robots" content="noindex">가 있는지워드프레스는 설정 메뉴에 "검색엔진이 이 사이트를 색인하지 않도록 요청" 같은 체크박스가 있는데, 사이트 구축 중에 이 옵션을 켜두고 정식 오픈 후 끄는 것을 잊는 경우가 흔합니다. 정식 서비스 중인데 방문자는 있고 검색 유입만 없다면 이 항목부터 확인해볼 만합니다.
크롤 예산은 검색엔진이 한 사이트를 방문해 살펴볼 수 있는 시간과 페이지 수의 한도를 말합니다. 사이트 규모가 작은 초기 단계에서는 크게 문제되지 않지만, 페이지 수가 많아지거나 중복 페이지(같은 내용이 여러 주소로 존재)가 많으면 검색엔진이 중요한 새 페이지까지 도달하기 전에 예산을 다 쓰는 경우가 생깁니다.
이런 상황에서는 사이트맵(25강)과 robots.txt로 크롤러가 우선 방문할 페이지를 정리해주는 작업이 필요합니다.
색인이 안 되는 것 같을 때는 아래 순서로 확인합니다.
site:내도메인주소 형태로 검색해 몇 개 페이지가 나오는지 확인합니다. 아무것도 안 나오면 사이트 전체가 막혀 있을 가능성이 큽니다.내도메인주소/robots.txt를 입력해 Disallow 항목이 중요한 폴더를 막고 있지 않은지 확인합니다.[사이트명] robots.txt 점검
1. 확인한 주소
- robots.txt 주소:
- 확인 일시:
2. 전체 내용 복사
3. 문제 여부 판단
- 사이트 전체를 막는 Disallow: / 가 있는가: (예/아니오)
- 블로그·상품 페이지 폴더가 실수로 막혀 있는가: (예/아니오)
- 관리자·장바구니 등 막아야 할 폴더는 제대로 막혀 있는가: (예/아니오)
4. site: 검색 결과
- 검색한 명령어(site:도메인):
- 나타난 결과 수(대략):
- 예상보다 적거나 없는가: (예/아니오)
5. 조치가 필요하다면
- 무엇을 바꿔야 하는가:
- 담당(직접 수정/개발자 요청):
25강. 사이트맵 제출과 서치콘솔 등록으로 색인 요청하기에서 검색엔진에게 우리 페이지의 존재를 직접 알리는 방법을 다룹니다.
site:도메인 검색과 robots.txt 직접 열람으로 문제 여부를 빠르게 확인할 수 있습니다.