robots.txt

Die robots.txt ist eine kleine, aber maechtige Textdatei, die im Stammverzeichnis Ihrer Website liegt (z. B. www.ihre-seite.de/robots.txt). Sie gibt Suchmaschinen-Crawlern Anweisungen, welche Seiten und Verzeichnisse sie crawlen duerfen und welche sie ignorieren sollen.

Eine typische robots.txt enthaelt Anweisungen wie "Disallow: /admin/" (der Admin-Bereich soll nicht gecrawlt werden) oder "Allow: /" (alles darf gecrawlt werden). Zusaetzlich wird hier oft der Verweis auf die XML-Sitemap hinterlegt, damit Suchmaschinen sie leicht finden.

Fuer Unternehmen in Braunschweig ist die robots.txt relevant, weil Fehler in dieser Datei gravierende Auswirkungen haben koennen: Ein versehentliches "Disallow: /" blockiert die gesamte Website fuer Google -- Ihre Seite verschwindet aus den Suchergebnissen. Das passiert haeufiger als man denkt, besonders nach Website-Relaunchs oder bei Websites, die von der Staging- in die Live-Umgebung verschoben werden.

Wichtig zu verstehen: Die robots.txt ist eine Empfehlung, keine Sicherheitsmassnahme. Serioese Suchmaschinen wie Google halten sich daran, aber boesartige Bots koennen sie ignorieren. Vertrauliche Inhalte sollten daher nie nur ueber robots.txt geschuetzt werden, sondern durch Passwortschutz oder Serverkonfiguration.

Ein Praxisbeispiel: Ein Braunschweiger Online-Shop hat versehentlich seinen gesamten Produktkatalog per robots.txt blockiert. Die Folge: Alle Produktseiten fallen aus dem Google-Index. Erst ein Audit deckt den Fehler auf -- nach der Korrektur kehren die Rankings innerhalb weniger Wochen zurueck.