Wat zijn spiders

Spiders, ook wel crawlers of bots genoemd, zoeken op het web naar (nieuwe) informatie met als doel om dit een plek te geven in een index. Door het volgen van links belanden de spiders op verschillende webpagina’s. Het hoeft niet zo te zijn dat de webpagina’s met elkaar in verband staan. Het kan dus zomaar zijn dat een spider begint met het crawlen van een pagina van een speelgoedgigant en eindigt met een reisblog. Bij het tegenkomen van nieuwe pagina’s worden deze toegevoegd aan de index. Het langskomen van een spider zorgt ervoor dat de bestaande websites up-to-date in de index staan en nieuwe pagina’s worden toegevoegd.

Soorten Spiders

Elke spider is anders. Sommige spiders kijken naar de gehele content op de webpagina, andere weer alleen naar de eerste paar woorden. Vaak starten ze op een populaire site en gaan vanaf daar op zoek naar verschillende links. Dit gebeurt dag en nacht. Na indexatie komen spiders regelmatig terug.

Niet elke spider is echter gewenst. Door het tekstbestandje robots.txt toe te voegen aan webserver, kun je de ongewenst bots vermijden.