Crawl-errors zijn fouten die optreden wanneer zoekmachines zoals Google, Bing of Yahoo een pagina op je website proberen te crawlen of te indexeren. Ze ontstaan bijvoorbeeld doordat een pagina is verwijderd of verplaatst, of doordat er een technisch probleem speelt op je server. Voor je vindbaarheid zijn ze belangrijk: komt een zoekmachine herhaaldelijk fouten tegen, dan kan dat worden gelezen als een teken dat je site niet goed wordt onderhouden.
Hoe ontstaat een crawl-error?
Een zoekmachine bezoekt je site met een geautomatiseerde bot, ook wel een crawler of spider genoemd. Die bot volgt links en vraagt pagina's op om de inhoud te lezen en op te nemen in de index. Krijgt de bot geen bruikbaar antwoord terug, dan registreert hij dat als crawl-error. De oorzaak ligt meestal in een van drie hoeken: de pagina bestaat niet meer, de server geeft een fout, of de bot mag de pagina niet bezoeken. Elk van die situaties vertelt de zoekmachine iets anders over de gezondheid van je website.
Welke soorten crawl-errors zijn er?
- 404-fouten: de bot vraagt een pagina op die niet (meer) bestaat. Dit gebeurt als een pagina is verwijderd of verplaatst zonder juiste doorverwijzing.
- Serverfouten: de server geeft een foutmelding terug, zoals een 500-fout. Vaak het gevolg van een technisch probleem, een tijdelijke onderbreking of een capaciteitsprobleem.
- Soft 404-fouten: de pagina stuurt een 200-statuscode terug alsof alles in orde is, maar de inhoud is leeg of niet relevant. Voor de zoekmachine voelt dat aan als een dode pagina.
- Pagina's zonder toegang: de pagina is afgeschermd met een wachtwoord, geblokkeerd via robots-instructies of alleen toegankelijk voor specifieke gebruikers.
- Omleidingsfouten: een doorverwijzing wijst naar een pagina die op zijn beurt weer doorverwijst, waardoor een lus of te lange keten ontstaat.
Site-fouten versus URL-fouten
Het is nuttig om onderscheid te maken tussen twee niveaus. Site-fouten raken je hele website: de bot kan de server helemaal niet bereiken of loopt vast op je robots-bestand. Dit is de meest urgente categorie, want geen enkele pagina wordt dan gecrawld. URL-fouten gelden voor losse pagina's, zoals een enkele 404 of soft 404. Die zijn minder ingrijpend, maar stapelen op als je ze laat liggen. Een goede sitemap helpt zoekmachines om te begrijpen welke pagina's er zouden moeten bestaan, waardoor afwijkingen sneller opvallen.
Waarom zijn crawl-errors belangrijk?
Zoekmachines willen bezoekers naar werkende, relevante pagina's sturen. Komt een bot veel fouten tegen, dan kan dat worden uitgelegd als achterstallig onderhoud. Het gevolg: slechtere posities in de zoekresultaten en een afname van het zoekverkeer naar je website. Bovendien verspilt een crawler zijn crawlbudget aan pagina's die niets opleveren, waardoor waardevolle pagina's minder vaak worden bezocht. Door fouten op te sporen en op te lossen presteert je site beter en werk je aan een structureel sterke basis, wat de kern is van goede SEO.
Hoe los je crawl-errors op?
Met een tool als Google Search Console spoor je crawl-errors op en zie je precies welke pagina's problemen geven. Vervolgens pak je ze gericht aan:
- Stel een 301-doorverwijzing in voor verwijderde of verplaatste pagina's, zodat bezoekers en bots op de juiste plek belanden.
- Verhelp serverproblemen door capaciteit, foutmeldingen of onderbrekingen te onderzoeken.
- Geef soft 404's echte, relevante inhoud of laat ze correct een 404-status teruggeven.
- Controleer je robots-instructies zodat je per ongeluk niets blokkeert dat wel geindexeerd moet worden.
Veelgestelde vragen over crawl-errors
Zijn crawl-errors altijd schadelijk?
Niet elke fout is een probleem. Een 404 voor een bewust verwijderde pagina is soms de juiste uitkomst. Het gaat erom dat je fouten begrijpt en de onbedoelde exemplaren oplost.
Hoe vaak moet ik op crawl-errors controleren?
Voor de meeste websites volstaat een periodieke controle. Bij grote of vaak wijzigende sites is regelmatiger meekijken verstandig, omdat er dan sneller nieuwe fouten ontstaan.
Verdwijnt een crawl-error vanzelf?
Zodra je de oorzaak oplost, verdwijnt de melding meestal bij een volgende crawl. Los je niets op, dan blijft de fout terugkomen.
In het kort: crawl-errors zijn fouten die zoekmachines tegenkomen bij het crawlen van je pagina's, zoals 404's, serverfouten en soft 404's. Onderscheid site- van URL-fouten, spoor ze op via Google Search Console en los ze gericht op om je site vindbaar te houden.