Robots.txt is een bestand met instructies voor het crawlen van een website. Het is ook mogelijk om de bots te vertellen welk deel van je website moet worden geïndexeerd. Je kunt ook opgeven welke delen je niet wilt laten verwerken door deze crawlers.
Een compleet bestand van Robots.txt bevat "User-agent", en daaronder kunt je andere richtlijnen schrijven zoals "Allow", "Disallow", "Crawl-Delay" enz. Als het handmatig wordt geschreven kan dit veel tijd kosten, en je kunt meerdere regels opdrachten in één bestand invoeren. Maak het jezelf gemakkelijk en laat onze Robots.txt-generator het bestand voor je verzorgen.