Robots.txt Generator


Standaard - Alle robots zijn:  
    
Crawl-Delay:
    
Sitemap: (leeg laten als je dit niet hebt) 
     
Search Robots: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Beperkte Directories: Het pad is relatief ten opzichte van de hoofdmap en moet een slash bevatten "/"
 
 
 
 
 
 
   



Maak nu het 'robots.txt'-bestand in je hoofdmap. Kopieer bovenstaande tekst en plak deze in het tekstbestand.


Over: Robots.txt Generator

Robots.txt is een bestand met instructies voor het crawlen van een website. Het is ook mogelijk om de bots te vertellen welk deel van je website moet worden geïndexeerd. Je kunt ook opgeven welke delen je niet wilt laten verwerken door deze crawlers. 

Een compleet bestand van Robots.txt bevat "User-agent", en daaronder kunt je andere richtlijnen schrijven zoals "Allow", "Disallow", "Crawl-Delay" enz. Als het handmatig wordt geschreven kan dit veel tijd kosten, en je kunt meerdere regels opdrachten in één bestand invoeren. Maak het jezelf gemakkelijk en laat onze Robots.txt-generator het bestand voor je verzorgen.

Wil je meer weten over een robots.txt bestand bekijk dan de Search Console pagina: Een robots.txt-bestand maken.

Wat is Robots.txt

Wanneer zoekmachines een site crawlen, zoeken ze eerst naar een robots.txt-bestand in de domeinhoofdmap. Indien gevonden, lezen ze de lijst met richtlijnen van het bestand om te zien welke mappen en bestanden zijn geblokkeerd voor crawlen. Dit bestand kan worden gemaakt met een robots.txt-bestandsgenerator. Wanneer u een robots.txt-generator gebruikt, kunnen Google en andere zoekmachines erachter komen welke pagina's op uw site moeten worden uitgesloten. Met andere woorden, het bestand dat door een robots.txt-generator is gemaakt, lijkt op het tegenovergestelde van een sitemap, die aangeeft welke pagina's moeten worden opgenomen.


Advertentie: