Wat is crawlen

Crawlen is het doorzoeken van een webpagina door middel van zoekmachinesoftware ofwel “bots”. Deze bots verkennen de webpagina om de inhoud hiervan te kunnen indexeren.

Hoe werkt een Crawl?

In eerste instantie kijken de bots naar een lijst met sitemaps en webadressen uit eerdere crawls. Vanuit daar zoeken de bots alle andere links naar pagina’s die bezocht kunnen worden. Daarbij is speciale aandacht voor nieuwe sites, wijzigingen in bestaande sites en broken links. Ook is het mogelijk te bepalen welke webadressen niet mogen worden geïndexeerd met behulp van robots.txt’s zodat deze niet terug te vinden zijn wanneer wordt gezocht in zoekmachines. Denk hierbij aan bedankpagina’s na een aankoop op je website.

Benutten van een Crawl

Wanneer een zoekopdracht wordt uitgevoerd in een zoekmachine als Google, zal de software alle geïndexeerde pagina’s afgaan die de zoekterm bevatten. De meest relevante pagina’s komen bovenaan in de zoekresultaten te staan. Deze relevantie wordt onder andere bepaald door:

• De aanwezigheid van het zoekwoord in H1 en/of H2 titels
• De aanwezigheid van het zoekwoord in meta data
• De aanwezigheid van de zoekterm in de URL
• De kwaliteit van de content
• De autoriteit van de pagina