Was ist das Crawl Budget?
Als Crawl Budget wird die Menge an URLs bezeichnet, die ein Suchmaschinenbot, wie z. B. von Google, einer bestimmten Webseite pro Crawldurchgang zugesteht, wie häufig es zu einem Crawl der oberen Ebenen und zu sog. Deepcrawls kommt. Dabei spielt die Informationsarchitektur der Webseite eine elementare Rolle: Sind alle Inhalte einer Webseite leicht zugänglich, also mit wenigen Klicks ab der Startseite aus erreichbar, kann der Crawler die Webseite einfacher crawlen. Kaputte Links und Seiten ohne eingehende Verlinkungen behindern den Crawler hingegen. Auch die Bereitstellung einer vollständigen XML Sitemap hilft, das Crawl Budget effizienter zu verwenden.
Google bestimmt selbst, wie hoch das Crawl Budget für eine Webseite ausfällt. Je mehr Trust eine Webseite hat, je höher der PageRank etc., desto höher das Budget. Durch Ausschluss bestimmter, inhaltsarmer Unterseiten, z. B. dem Impressum oder der Login-Seite, kann der Webseitenbetreiber den Crawler “steuern” und das Crawl Budget besser nutzen.
Weitere Informationen:
https://moz.com/blog/an-illustrated-guide-to-matt-cutts-comments-on-crawling-indexation
https://www.sistrix.de/news/crawling-und-indexierung-umfangreicher-webseiten/
Video:
