티스토리나 구글 블로그를 시작하는 초기에 여러 개의 글을 쓰면 구글 로봇이 바로 크롤링 해 주길 바랍니다. 그래서 구글 서치 콘솔 URL 검사 창에 링크를 직접 입력하여 여러 글을 크롤링 시키다가 아래와 같은 메시지를 받게 된다.
일일 할당량을 초과하여 이 요청을 처리할 수 없습니다. 내일 다시 제출해 주세요.
이런 문구를 보면 당황하기 마련이지만 아래와 같은 간단한 해결 방법이 있습니다.
- 윈도우 창을 여러개 펼쳐서 다중 작업을 하고 있었다면 링크 한개씩 크롤링 요청을 한다.
- 그래도 안된다면 5분 정도 기다렸다가 다시 요청한다.
URL 크롤링 일일 요청 할당 개수
구글 서치콘솔 크롤링 요청 할당 개수가 아이디 마다 정해져 있지는 않습니다. 하지만 전 세계 수많은 웹마스터들이 자신의 글을 실시간으로 구글에 등록하고 있기 때문에 구글에서 제한을 둔 것 같습니다.
이러한 제한은 전 세계에서 가장 많이 쓰는 워드프레스의 경우 자동으로 등록시켜 주는 플러그인이 있어 구글 서치 콘솔이 부하가 많이 걸리는데, 수동 색인 요청까지 제한을 두지 않는다면 구글 서버에 무리가 갈 것은 뻔하기 때문에 입니다.
URL 크롤링 일일 할당량 초과 해결 방법
크롤링 할당량 초과 해결 방법은 결국은 시간이 답입니다. 5분정도 기다렸다가 다시 시도하면 대부분 크롤링 되었습니다. 다중으로 여러 창을 열어 놓고 동시에 크롤링 요청하면 처음 4~5개는 되다가 그 다음부터는 할당량 초과 메시지가 나오면서 중단 됩니다.
이럴 때는 당황하지 말고 5분 기다리거나, 글을 한개 크롤링 완료하고 다음 글을 시도하면 중단 안되고 잘 색인이 됩니다.
구글 사이트맵 새로 갱신이 궁금하시면 아래 링크 확인하세요.
마무리
이상 구글 서치 콘솔 URL 크롤링 할당량 초과 메시지 해결 방법에 대해 알아보았습니다. 시간이 지나면 자연스럽게 해결되는 문제이니 걱정 마시고 좋은 글 발행하세요.
관심있을 만한 글