Wat is robots.txt

Het bestand robots.txt is een bestand dat altijd zal worden aangeroepen door een zoekmachine en geeft voor een zoekmachine aan wat er wel en niet geïndexeerd mag worden. Dit bestand is een simpel tekstbestandje dat je uploadt in de root van je website. Je kunt per zoekmachine aangeven wat er wel en niet geïndexeerd mag worden.

Toepassen van Robots.txt

In de eerste regel van het tekstbestand geef je aan voor welke zoekmachine de onderstaande regels bedoeld zijn. Wanneer robots.txt van toepassing is op alle zoekmachines gebruik je een *. Dat kan er als volgt uitzien:

User-agent: *
Allow: /

Wanneer alle pagina’s en mappen doorzocht mogen worden door ieder zoekmachine geef je dit aan met “Allow: /”.  In veel gevallen zal er echter ook sprake zijn van een afgesloten gedeelte of een beheerpanel. Wanneer hiervan sprake is, wil je niet dat een zoekmachine die pagina’s indexeert. Het uitsluiten van deze pagina’s wordt gedaan door Disallow te gebruiken en vervolgens de mappen op te sommen die niet geïndexeerd mogen worden.

Het is belangrijk om in het achterhoofd te houden dat de regels in het robots.txt bestand slechts een verzoek zijn aan zoekmachines. Voor volledige controle over de indexatie van specifieke pagina’s kan beter gebruik gemaakt worden van meta robots.