Robots.txt Generator


Standaard - Alle robots zijn:  
    
Crawl-Delay:
    
Sitemap: (leeg laten als je dit niet hebt) 
     
Search Robots: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Beperkte Directories: Het pad is relatief ten opzichte van de hoofdmap en moet een slash bevatten "/"
 
 
 
 
 
 
   



Maak nu het 'robots.txt'-bestand in je hoofdmap. Kopieer bovenstaande tekst en plak deze in het tekstbestand.


Over: Robots.txt Generator

Robots.txt is een bestand met instructies voor het crawlen van een website. Het is ook mogelijk om de bots te vertellen welk deel van je website moet worden geïndexeerd. Je kunt ook opgeven welke delen je niet wilt laten verwerken door deze crawlers. 

Een compleet bestand van Robots.txt bevat "User-agent", en daaronder kunt je andere richtlijnen schrijven zoals "Allow", "Disallow", "Crawl-Delay" enz. Als het handmatig wordt geschreven kan dit veel tijd kosten, en je kunt meerdere regels opdrachten in één bestand invoeren. Maak het jezelf gemakkelijk en laat onze Robots.txt-generator het bestand voor je verzorgen.


Advertentie: