Robots.txt ist eine Textdatei, die Webdesigner verwenden, um Anweisungen an Web-Roboter, sogenannte “Crawler” oder “Spiders” zu geben. Diese Roboter sind Programme, die zum Zwecke des Indizierens von Websites durch Suchmaschinen wie Google oder Bing verwendet werden. Der Standard, der diese Datei regelt, ist das Robot Exclusion Standard (REP), das ursprünglich 1994 von Martijn Koster entwickelt wurde.
Die Datei robots.txt befindet sich in der Regel im Hauptverzeichnis einer Website und liefert Anweisungen für das Verhalten von Seitenindizierungsrobotern. Sie wird benutzt, um zu beeinflussen, welche Bereiche einer Website durchsucht werden und welche nicht.
Zum Beispiel könnte eine sehr einfache robots.txt-Datei für eine Website, die keine Crawling- oder Indexierungseinschränkungen wünscht, so aussehen:
User-agent: *
Disallow:
Die “User-agent: *” Anweisung besagt, dass die folgende “Disallow”-Regel für alle Web-Roboter gilt. Da keine spezifische Disallow-Anweisung gegeben wird, bedeutet dies, dass alle Bereiche der Website durchsucht werden können.
Im Gegensatz dazu könnte eine Website, die keine Seiten indizieren lassen möchte, eine robots.txt-Datei haben, die so aussieht:
User-agent: *
Disallow: /
Hier würde die “/” in der Disallow-Anweisung bedeuten, dass keine Seiten der Website indiziert werden sollten.
Es ist jedoch wichtig zu beachten, dass die robots.txt-Datei nur eine “Empfehlung” für Web-Roboter ist – nicht alle Bots halten sich daran. Einige Malevolent-Bots, die nach Sicherheitslücken suchen, um Websites anzugreifen, ignorieren diese Datei absichtlich.
Laut Google’s Search Central Blog, ist es eine gute Praxis, zuerst die Möglichkeit zu nutzen, dem PageRanks Algorithmus durch den Einsatz von Meta-Tags eine “noindex”-Anweisung zu geben, und erst dann die robots.txt-Datei zu verwenden, um das Crawling zu steuern.
Zu den Quellen dieser Informationen gehören unter anderem der Google Search Central Blog, Moz’s Beginner’s Guide to SEO und Martijn Koster’s Website zu Robot Exclusion Standards.
Quellen:
- https://developers.google.com/search/docs/advanced/robots/robots_txt
- https://moz.com/beginners-guide-to-seo
- http://www.robotstxt.org/robotstxt.html
