Toestemming is niet hetzelfde als uitsluiting
robots.txt onthoudt de toestemming om een URL op te halen, en verder niets. Google zegt onomwonden dat het geen middel is om een pagina uit de zoekresultaten te houden. De twee gedachten worden voortdurend op één hoop gegooid, en dat levert een heel specifieke, goed zichtbare fout op.
Een geblokkeerde URL waar andere sites naar linken kan alsnog geïndexeerd worden. Google weet dat het adres bestaat omdat iemand ernaar linkte; het kan alleen niet zien wat erop staat. Dus verschijnt de URL mogelijk zonder enige omschrijving — het slechtste van twee werelden, want de pagina staat publiek in de resultaten terwijl u geen enkele grip hebt op hoe zij eruitziet.
Het bestand lezen en schrijven
Het bestand staat in de root van een host en geldt alleen voor die host en dat protocol. Regels zijn gegroepeerd per user-agent, en een crawler volgt de ene groep die het specifiekst op hem past — niet elke groep die zou kunnen passen. Binnen een groep beslist bij Google de specifiekere regel, niet de volgorde.
User-agent: *
Disallow: /admin/
Disallow: /*.pdf$
Allow: /admin/public/
User-agent: Googlebot
Disallow: /drafts/
Sitemap: https://example.com/sitemap.xmlTwee details in dat voorbeeld veroorzaken vrijwel alle verwarring. De Allow-regel is specifieker dan de Disallow erboven, dus /admin/public/ blijft ophaalbaar. En zodra er een Googlebot-groep bestaat, volgt Googlebot uitsluitend die groep — de jokergroep geldt niet meer voor hem, waardoor /admin/ hier juist wél ophaalbaar is voor Googlebot. Dat is vrijwel nooit de bedoeling geweest.
- Een pad blokkeren verwijdert geen reeds geïndexeerde URL's; het stopt alleen toekomstige ophaalacties.
- De Sitemap-regel staat los van elke user-agentgroep en mag overal in het bestand staan.
- Een 5xx op robots.txt zelf kan een crawler de hele host laten mijden, dus serveer het vanaf iets betrouwbaars.
Waar een robotsregel schade aanricht ver van zichzelf
De duurste robots.txt-fouten zijn niet de pagina's die u wilde blokkeren. Het zijn de bronnen die een pagina nodig heeft om te renderen. Zoekmachines renderen pagina's voordat ze die indexeren, en renderen haalt scripts, stylesheets en API-antwoorden op.
Blokkeer een scriptpad of een API-route en de crawler haalt de HTML nog steeds prima op. Vervolgens rendert hij een vrijwel lege pagina en indexeert hij een vrijwel lege pagina. Geen enkel rapport meldt dat de pagina geblokkeerd was, want dat was zij niet — alleen wat zij nodig had.
Een sitemap is een suggestie, geen wachtrij
Sitemaps helpen bij ontdekking juist waar het linken het zwakst is: grote sites, gloednieuwe sites met weinig inkomende links en sites vol media zonder natuurlijke ankertekst. Google stelt onomwonden dat het opnemen van een URL crawlen noch indexeren garandeert.
Googles eigen richtlijn is dat een kleinere, goed gelinkte site er misschien helemaal geen nodig heeft, omdat de crawler alles via links vindt. Dat is de moeite waard om serieus te nemen voordat u sitemapinfrastructuur bouwt voor een probleem dat interne links beter oplossen.
| Grens | Waarde |
|---|---|
| URL's per sitemapbestand | 50.000 |
| Ongecomprimeerde grootte per bestand | 50 MB |
| Boven een van beide | Splitsen en de delen aanhalen vanuit een sitemapindex |
Welke tags gelezen, genegeerd of gewantrouwd worden
Hier gaat het meeste sitemapwerk verloren. Twee van de vier gangbare tags doen helemaal niets, en een derde kan actief tegen u werken.
| Tag | Wat Google ermee doet |
|---|---|
| loc | Wordt gelezen — de URL zelf |
| lastmod | Alleen gebruikt wanneer die consequent en verifieerbaar klopt |
| changefreq | Wordt genegeerd |
| priority | Wordt genegeerd |
De voorwaarde bij lastmod is degene die pijn doet. Stempelt uw build elke URL met het deploymoment, dan is elke waarde tegelijk onjuist en makkelijk te weerleggen: de pagina veranderde niet, en de zoekmachine kan dat zien. Zodra zij het veld niet meer vertrouwt gebruikt zij het niet meer, en dan bent u slechter af dan wanneer u helemaal geen lastmod stuurde. Geef het alleen af bij echte wijzigingen in de hoofdinhoud, en laat het liever weg dan het te verzinnen.
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/guides/indexing/</loc>
<lastmod>2026-06-14</lastmod>
</url>
</urlset>Het juiste instrument kiezen
Vrijwel elke vraag op dit terrein lost zich op zodra u drie taken scheidt die op elkaar lijken en het niet zijn.
| Doel | Instrument | Waarom |
|---|---|---|
| Geen crawlwerk verspillen aan rommel-URL's | robots.txt | Voorkomt het ophalen volledig |
| Een pagina uit de resultaten houden | noindex, of authenticatie | Vereist het ophalen zodat de instructie gelezen wordt |
| Pagina's laten ontdekken | Interne links, daarna een sitemap | Links dragen context, sitemapregels niet |