답변
먼저 전제를 바로잡을 필요가 있습니다. robots.txt의 'Crawl-delay' 지시어는 구글봇이 아예 처리하지 않습니다(무시합니다) — 그래서 구글 대상으로는 이 값을 아무리 정교하게 넣어도 효과가 없습니다. 반면 빙·얀덱스 같은 일부 다른 크롤러는 이 지시어를 실제로 인식하니, 멀티 검색엔진 환경이라면 구글용 규칙과 별도로 남겨둘 순 있습니다. 구글에서 크롤 예산을 아끼는 실질적 방법은 미디어·저가치 경로를 Disallow로 명시하는 것입니다. robots.txt는 와일드카드(*)와 경로 끝 기호($)를 지원하므로, 예를 들어 PDF·썸네일 이미지는 `Disallow: /assets/*.pdf$`, `Disallow: /media/thumbnails/` 같은 패턴으로 차단하고, 정렬·필터 파라미터로 무한히 생성되는 중복 URL은 `Disallow: /*?*sort=` 처럼 파라미터 키를 지정해 막습니다. 크롤링 '속도' 자체를 늦추고 싶은 목적이라면 robots.txt가 아니라 다른 채널로 접근해야 합니다. 서버 응답이 느려지면 구글이 알아서 크롤 속도를 낮추는 구조이므로 서버 응답 시간을 관리하는 게 첫 번째이고, 세션ID·정렬 파라미터로 생기는 중복 URL은 canonical 태그로 정리하는 게 두 번째, 그래도 명시적으로 속도를 제한하고 싶다면 서치콘솔의 '설정 > 크롤링' 메뉴에서 크롤링 속도를 직접 낮추는 게 구글이 공식 지원하는 방법입니다.