Crawling

Crawling ist der erste Schritt, bevor eine Webseite in den Google-Suchergebnissen erscheinen kann. Beim Crawling besucht der Googlebot -- ein automatisiertes Programm -- Ihre Website, liest den Quellcode jeder Seite und folgt den Links, um weitere Seiten zu entdecken. Man kann sich den Googlebot wie einen unerschoepflichen Leser vorstellen, der das gesamte Internet systematisch durchforstet.

Wie oft und wie gruendlich Google Ihre Website crawlt, haengt von mehreren Faktoren ab: der Groesse Ihrer Website, der Aktualisierungshaeufigkeit, der Servergeschwindigkeit und der Anzahl externer Links, die auf Ihre Seite zeigen. Grosse, regelmaessig aktualisierte Websites werden haeufiger gecrawlt als kleine, statische Seiten.

Fuer Unternehmen in Braunschweig bedeutet das: Wenn Sie regelmaessig neue Blogbeitraege oder Seiten veroeffentlichen, wird Google Ihre Website haeufiger besuchen. Aendert sich monatelang nichts, reduziert Google die Crawling-Frequenz.

Sie koennen das Crawling aktiv beeinflussen: Die robots.txt-Datei steuert, welche Bereiche Ihrer Website der Bot besuchen darf. Die XML-Sitemap zeigt dem Bot alle wichtigen Seiten auf einen Blick. Und eine schnelle Serverantwortzeit sorgt dafuer, dass der Bot moeglichst viele Seiten pro Besuch erfassen kann.

Typische Crawling-Probleme sind: defekte Links (404-Fehler), Redirect-Ketten, zu langsame Ladezeiten oder versehentlich blockierte Seiten in der robots.txt. Die Google Search Console zeigt Ihnen, ob Crawling-Fehler vorliegen.