Een robots.txt bestand is een tekstbestand dat een webmaster creëert om instructies te geven aan webrobots (ook bekend als zoekmachinebots). Dit bestand bepaalt welke delen van de website niet mogen worden gescand en opgenomen in zoekresultaten door de crawlers of spiders van een zoekmachine.
Een voorbeeld van een praktische toepassing van een robots.txt-bestand kan zijn wanneer een webmaster bepaalde secties van een website privé wil houden of informatie wil verbergen voor zoekmachines. De webmaster kan het robots.txt bestand coderen om de crawlers van de zoekmachines te instrueren deze secties niet te scannen of te indexeren.
Een robots.txt-bestand wordt meestal geplaatst in de root-directory (hoofdmap) van de website en is toegankelijk via de URL. Bijvoorbeeld, de URL ‘www.voorbeeld.com/robots.txt’ zou de locatie van het robots.txt-bestand voor de hypothetische website ‘www.voorbeeld.com’ zijn.
Hoewel het gebruik van een robots.txt-bestand een algemeen geaccepteerde praktijk is, biedt het geen volledige beveiliging. Niet alle webrobots volgen de instructies in een robots.txt-bestand. Sommige spambots of kwaadwillende bots negeren deze bestanden volledig en crawlen en indexeren mogelijk nog steeds de delen van de website die gedefinieerd zijn als ‘niet toegankelijk’.
Het moet ook worden opgemerkt dat robots.txt-bestanden openbaar zijn. Iedereen kan het robots.txt-bestand van een website bekijken door ‘/robots.txt’ toe te voegen aan het einde van een basis-URL. Dus als privacy een grote zorg is, is het misschien niet de beste optie om gevoelige informatie te verbergen.
De officiële gids van Google voor het maken van een robots.txt-bestand en de correcte syntax voor verschillende opdrachten kan worden geraadpleegd voor meer informatie. Andere bronnen zoals de robots.txt gids van de Moz Search Engine Optimization handleiding bieden ook uitgebreide handleidingen voor webmasters over dit onderwerp.
Bronnen:
1. The Web Robot Pages. “About /robots.txt”. Geraadpleegd op 7 april 2022, https://www.robotstxt.org/orig.html.
2. Google Search Central. “Create a robots.txt file”. Geraadpleegd op 7 april 2022, https://developers.google.com/search/docs/advanced/robots/create-robots-txt.
3. Moz. “Robots.txt Guide”. Geraadpleegd op 7 april 2022, https://moz.com/learn/seo/robotstxt.
