Robots.txt bestand

⇐ Terug
Robots.txt bestand
5 (100%) 2 vote[s]

Een webwinkel wordt geïndexeerd door zoekmachines en daardoor worden je pagina’s weergegeven in de zoekmachines. Een robots.txt bestand geeft aan de zoekmachines door wat wel en wat niet mag.

Het robots.txt bestand is het eerste waar een zoekmachine naar kijkt. Om te kijken of er speciale instructies zijn voor het doorzoeken van jouw webwinkel.

Als er geen robots.txt bestand aanwezig is dan gaan de zoekmachines ervan uit dat ze de hele webwinkel mogen doorzoeken en alle pagina’s mogen weergeven in de zoekresultaten.

Zoekmachines kunnen er voor kiezen om het bestand te negeren, hou er dan ook rekening dat het een richtlijn is voor de zoekmachines.

Let op: Schrijf robots.txt met een ‘s’ want daar gaat het nog wel eens fout. Een robot.txt zal niet worden gezien door de zoekmachines. Dat is namelijk de verkeerde schrijfwijze.

Sitemap toevoegen

Je robots.txt kun je ook voorzien van het juiste pad naar de XML-sitemap van je webshop. Voeg dan het volgende toe aan je robots.txt :

Sitemap: http://www.jouwwebshopurl.nl/sitemap.xml 

Robots.txt Generator

Met onze gratis robots.txt generator maak je snel een eenvoudig een bestand aan voor je eigen website. Volg de instructies en upload het bestand naar de root van je website. Zo simpel is het.

Laatste update: april 27, 2019