Spiders, ook wel crawlers of bots genoemd, zoeken op het web naar (nieuwe) informatie met als doel om dit een plek te geven in een index. Door het volgen van links belanden de spiders op verschillende webpagina’s. Het hoeft niet zo te zijn dat de webpagina’s met elkaar in verband staan. Het kan dus zomaar zijn dat een spider begint met het crawlen van een pagina van een speelgoedgigant en eindigt met een reisblog. Bij het tegenkomen van nieuwe pagina’s worden deze toegevoegd aan de index. Het langskomen van een spider zorgt ervoor dat de bestaande websites up-to-date in de index staan en nieuwe pagina’s worden toegevoegd.

Soorten Spiders

Elke spider is anders. Sommige spiders kijken naar de gehele content op de webpagina, andere weer alleen naar de eerste paar woorden. Vaak starten ze op een populaire site en gaan vanaf daar op zoek naar verschillende links. Dit gebeurt dag en nacht. Na indexatie komen spiders regelmatig terug.

Niet elke spider is echter gewenst. Door het tekstbestandje robots.txt toe te voegen aan webserver, kun je de ongewenst bots vermijden.

Meer weten over spiders? Vraag het na bij een van onze specialisten:

Breid jouw SEO kennis uit

 In de Yonego Kennisbank vind je uitgebreide informatie over allerlei online marketingtermen waarmee je jouw online kennis kan vergroten. De kennisbank beschikt onder andere over SEO, SEA en CRO termen.