Crawlbudget, of crawl budget, is het aantal URL's dat Google in een bepaalde periode op je site wil en kan ophalen. Het hangt af van twee dingen: hoeveel verzoeken je server aankan (crawlcapaciteit) en hoe graag Google je pagina's wil bezoeken (crawlvraag). Voor de meeste kleine sites is het geen beperking; bij webshops met filters […]
Crawlbudget, of crawl budget, is het aantal URL's dat Google in een bepaalde periode op je site wil en kan ophalen. Het hangt af van twee dingen: hoeveel verzoeken je server aankan (crawlcapaciteit) en hoe graag Google je pagina's wil bezoeken (crawlvraag). Voor de meeste kleine sites is het geen beperking; bij webshops met filters wel.
Onze invalshoek: bij een mkb-site is het probleem bijna nooit het budget, maar de vraag. Google komt niet terug bij pagina's die het niet belangrijk vindt, en dat los je op met interne links en een sitemap die klopt, niet met crawlbudget-trucs. Alleen als je site zelf duizenden overbodige URL's aanmaakt, wordt het echt een kwestie van budget. Hieronder lees je hoe je in twee minuten bepaalt welke van de twee bij jou speelt, en wat je dan doet.
Budget of vraag: het onderscheid dat het verschil maakt
Crawlcapaciteit is de bovengrens: Google remt zelf af als je server trager wordt of fouten geeft, zodat je site niet overbelast raakt. Crawlvraag is hoeveel Google daarvan wil gebruiken. Die vraag stijgt bij pagina's die veel interne en externe links krijgen, die regelmatig veranderen en die bezoekers trekken. Ze daalt bij pagina's die nergens gelinkt staan, op elkaar lijken of weinig toevoegen.
Google schrijft in zijn eigen documentatie dat crawlbudget vooral speelt bij zeer grote sites en bij grote sites waarvan de inhoud dagelijks verandert. Een bedrijfssite met tientallen of honderden pagina's valt daar niet onder. Worden daar pagina's niet opgenomen, dan heeft Google ze wel kunnen ophalen, maar vond het ze niet belangrijk of goed genoeg. Dat is een probleem van vraag, en de oplossing ligt in je structuur en je inhoud.
In twee minuten: speelt het bij jou?
| Jouw situatie | Waarschijnlijke oorzaak | Waar je begint |
|---|---|---|
| Bedrijfssite of blog, geen filters, pagina's blijven op "Gevonden, momenteel niet geïndexeerd" | Crawlvraag: te weinig interne links of te dunne inhoud | Interne links vanaf sterke pagina's, inhoud verdiepen of samenvoegen |
| Bedrijfssite, pagina's staan op "Gecrawld, momenteel niet geïndexeerd" | Kwaliteit of duplicatie, geen budget | Oorzaken van niet-geïndexeerde pagina's doorlopen |
| Webshop met filters of sortering die eigen URL's maken | Echt crawlbudget: Google verdeelt zijn tijd over duizenden varianten | URL's beperken, zie de webshopsectie hieronder |
| Crawlverzoeken dalen terwijl de reactietijd stijgt | Crawlcapaciteit: je server remt Google af | Hosting, caching en database op orde |
| Een noindex of verwijderde pagina blijft weken in Google staan | Crawlvraag: Google komt niet meer langs om de wijziging te zien | Tijdelijke sitemap met die URL's |
Herken je alleen de eerste, tweede of laatste rij, dan hoef je over crawlbudget in de klassieke zin niet na te denken. Je hebt een vraagprobleem, en dat is goed nieuws: het is met eigen middelen op te lossen.
Wat onze eigen site ons leerde over crawlvraag
Twee lessen uit 2026 op onlinemeersucces.nl, allebei op een site die qua omvang nergens in de buurt komt van een crawlbudgetprobleem.
Artikelen zonder inkomende links blijven liggen. We publiceerden 92 artikelen in één keer, zonder dat ze links kregen vanaf bestaande pagina's. Daarvan werd 35% niet geïndexeerd. Google kon ze ophalen, ze stonden in de sitemap, maar niets op de site gaf aan dat ze ertoe deden. Sindsdien krijgt elk nieuw artikel minstens drie inkomende links vanaf sterke pagina's voordat we het als klaar beschouwen. Hoe je dat opzet, lees je in interne links.
Een noindex werkt pas als Google langskomt. We zetten een groep pagina's op noindex en haalden ze uit de sitemap. Weken later stond een deel nog steeds in Google. De reden: Google kwam er niet meer langs, dus zag de noindex niet. De oplossing was een tijdelijke sitemap met juist die noindex-URL's, zodat Google ze opnieuw ophaalt en de tag verwerkt. Daarna kan die tijdelijke sitemap weer weg.
Allebei draaien om dezelfde regel: Google besteedt zijn tijd aan wat jij aanwijst als belangrijk. Wat je niet linkt en niet in je sitemap zet, valt buiten beeld, ook als er genoeg budget is.
Webshops: waar het wel echt budget wordt
Bij een webshop maakt de software zelf URL's aan, vaak veel meer dan je denkt. Elke filter op kleur, maat of merk, elke sorteeroptie en elke interne zoekopdracht kan een eigen adres krijgen.
Rekenvoorbeeld (fictieve shop): een categorie met 8 kleuren, 6 maten en 5 merken, waarbij elke filter ook leeg kan blijven, levert 9 × 7 × 6 = 378 filtercombinaties op. Met 4 sorteeropties worden dat 1.512 URL's voor één categorie. Heeft de shop 30 categorieën, dan kent Google ruim 45.000 URL's, terwijl er misschien een paar honderd producten en 30 categoriepagina's zijn die verkopen. Google verdeelt zijn tijd dan grotendeels over varianten die niemand zoekt, en nieuwe producten komen laat in de index.
| Lek | Maatregel |
|---|---|
| Filtercombinaties | Alleen filters met echte zoekvraag als eigen pagina; de rest niet crawlbaar linken of uitsluiten |
| Sorteer-, zoek-, sessie- en trackingparameters | Blokkeren in robots.txt en intern niet naar die varianten linken |
| Dezelfde pagina op meerdere adressen | Eén versie kiezen, doorverwijzen, canonical instellen |
| Redirectketens en kapotte interne links | Links direct naar de eindbestemming laten wijzen; zie broken links opsporen |
Let op het verschil tussen blokkeren en noindex. Een URL die je in robots.txt blokkeert, haalt Google niet op: dat bespaart budget. Een noindex bespaart niets, want Google moet de pagina ophalen om de tag te zien. Voor filtervarianten die alleen budget kosten, is blokkeren dus de betere keuze; voor pagina's die al in de index staan en eruit moeten, eerst noindex en pas daarna blokkeren. Hoe robots.txt en sitemap samenwerken, staat in XML-sitemap en robots.txt.
Crawlstatistieken lezen in Search Console
Het rapport Crawlstatistieken staat in Search Console onder Instellingen. Het is de enige plek waar je ziet hoe Google je site daadwerkelijk doorloopt. Vier dingen om op te letten:
- Totaal aantal crawlverzoeken over tijd. Een sterke stijging zonder dat jij iets toevoegde, wijst bijna altijd op een nieuwe bron van overbodige URL's, zoals een filterplugin of een update.
- Gemiddelde reactietijd. Loopt die op, dan gaat Google minder ophalen. Vaak het eerste teken dat hosting of caching tekortschiet.
- Verdeling per antwoord. Een groot aandeel doorverwijzingen of niet-gevonden pagina's is tijd die naar URL's gaat die nergens heen leiden.
- Voorbeeld-URL's. Zie je daar vooral parameters en filtercombinaties, dan weet je waar het lek zit.
Leg dit naast het indexeringsrapport. Veel crawlverzoeken naar onbelangrijke URL's plus veel pagina's die blijven hangen op "Gevonden, momenteel niet geïndexeerd": dan is budget een reële factor. Weinig verzoeken en toch pagina's die blijven hangen: dan is het vraag.
Maatregelen in volgorde van opbrengst
- Maak minder URL's aan. Per filter de vraag: zoekt iemand hier echt op? Zo niet, dan geen eigen URL in de index.
- Link alleen naar wat in Google moet, en link vanaf sterke pagina's naar wat nieuw is.
- Houd de sitemap schoon: alleen indexeerbare pagina's met status 200 en een kloppende wijzigingsdatum. Tijdelijk aangevuld met URL's die eruit moeten, zolang Google die nog niet verwerkt heeft.
- Versnel de server. Kortere reactietijd betekent meer pagina's in dezelfde tijd.
- Snoei dunne pagina's: lege tagarchieven, bijna identieke producten, automatisch gegenereerde overzichten.
Veelgestelde vragen over crawl budget
Kan ik mijn crawl budget verhogen?
Niet met een instelling. Je verhoogt het indirect: een snellere, stabiele server verhoogt wat Google aankan, en pagina's met goede interne en externe links en regelmatige updates verhogen hoe graag Google langskomt. Minstens zo belangrijk is dat het bestaande budget niet opgaat aan URL's die niemand zoekt, zoals filter- en sorteervarianten.
Is crawlbudget belangrijk voor een kleine bedrijfssite?
Zelden. Bij een site van tientallen of honderden pagina's komt Google ruim genoeg langs. Worden pagina's toch niet opgenomen, dan is de oorzaak bijna altijd crawlvraag: te weinig interne links, te dunne of dubbele inhoud. Onze eigen les: artikelen zonder inkomende links bleven voor een groot deel buiten de index.
Moet ik filterpagina's op noindex zetten?
Voor crawlbudget niet, want Google blijft noindex-pagina's ophalen. Overbodige filtervarianten maak je beter niet crawlbaar of sluit je uit in robots.txt. Staan ze al in de index, zet ze dan eerst op noindex, wacht tot Google ze heeft verwerkt en blokkeer pas daarna. Filters met echte zoekvraag maak je juist volwaardig.
Helpt een XML-sitemap tegen crawlproblemen?
Een sitemap verhoogt het budget niet, maar wijst Google wel de weg naar wat belangrijk is en wat gewijzigd is. Een sitemap vol doorverwijzingen of overbodige URL's werkt tegen je. Een tijdelijke sitemap met URL's die je op noindex hebt gezet, helpt Google juist om die wijziging sneller te verwerken.
Heb je een webshop of grote site en twijfel je of Google zijn tijd aan de juiste pagina's besteedt? Binnen onze SEO-dienstverlening leggen we crawlstatistieken, indexering en structuur naast elkaar. Bij een kleinere site begin je met een gratis websitescan.
