Robots.txt is een bestand met instructies voor het crawlen van een website. Het is ook mogelijk om de bots te vertellen welk deel van je website moet worden geïndexeerd. Je kunt ook opgeven welke delen je niet wilt laten verwerken door deze crawlers.
Een compleet bestand van Robots.txt bevat "User-agent", en daaronder kunt je andere richtlijnen schrijven zoals "Allow", "Disallow", "Crawl-Delay" enz. Als het handmatig wordt geschreven kan dit veel tijd kosten, en je kunt meerdere regels opdrachten in één bestand invoeren. Maak het jezelf gemakkelijk en laat onze Robots.txt-generator het bestand voor je verzorgen.
Wil je meer weten over een robots.txt bestand bekijk dan de Search Console pagina: Een robots.txt-bestand maken.
Wanneer zoekmachines een site crawlen, zoeken ze eerst naar een robots.txt-bestand in de domeinhoofdmap. Indien gevonden, lezen ze de lijst met richtlijnen van het bestand om te zien welke mappen en bestanden zijn geblokkeerd voor crawlen. Dit bestand kan worden gemaakt met een robots.txt-bestandsgenerator. Wanneer u een robots.txt-generator gebruikt, kunnen Google en andere zoekmachines erachter komen welke pagina's op uw site moeten worden uitgesloten. Met andere woorden, het bestand dat door een robots.txt-generator is gemaakt, lijkt op het tegenovergestelde van een sitemap, die aangeeft welke pagina's moeten worden opgenomen.