“URL geblokkeerd door robots.txt” betekent dat je robots.txt Googlebot verbiedt de pagina te crawlen — en omdat robots.txt cràwlen regelt en niet indexeren, kan een geblokkeerde URL alsnog kaal in Google belanden.
- robots.txt stopt het crawlen; noindex stopt het indexeren. Die twee verwarren is dé klassieke robots-fout.
- “Geïndexeerd, maar geblokkeerd door robots.txt” ontstaat als links wijzen naar een URL die Google niet mag lezen.
- Wil je een pagina uit Google, dan moet je het crawlen juist toestaan zodat Google de noindex kan zien.
- Veelgemaakte ongelukken: een achtergebleven Disallow: / van een testsite of een te brede voorvoegselregel.
- Regels werken op het begin van het pad: Disallow: /blog blokkeert ook /blog-tips/.
“URL geblokkeerd door robots.txt” betekent dat je robots.txt Googlebot verbiedt deze URL te crawlen. Google kan de pagina dus niet lezen en indexeert de inhoud niet.
“Geïndexeerd, maar geblokkeerd door robots.txt” is de vreemde tweeling: Google nam de URL toch op, meestal omdat andere pagina’s ernaar linken, zonder hem te kunnen lezen.
De kernregel: robots.txt regelt crawlen, niet indexeren. Wil je een pagina uit Google houden, gebruik dan noindex — en laat Google de pagina crawlen zodat hij die tag kan zien.
Geblokkeerd door robots.txt
Geïndexeerd, maar geblokkeerd
Beide oplossen
Veelgestelde vragen
“URL geblokkeerd door robots.txt”
Je robots.txt (op jouwsite.nl/robots.txt) bevat een Disallow-regel die op deze URL past. Voor beheerpagina’s, winkelwagens en interne zoekresultaten is dat precies de bedoeling. Voor artikelen en productpagina’s is het een fout.
Veelvoorkomende ongelukjes: een achtergebleven Disallow: / van een testsite, een te brede regel zoals Disallow: /p die ook /producten/ raakt, of een plugin die het bestand herschreef.
“Geïndexeerd, maar geblokkeerd door robots.txt”
Google kan een URL indexeren die hij niet mag crawlen als er genoeg links naartoe wijzen. Hij toont dan de URL met weinig of geen beschrijving. Wat je doet hangt af van wat je wilt:
Deblokkeren
Oplossing: haal de Disallow-regel weg zodat Google kan crawlen en goed indexeren.
Deblokkeren + noindex
Oplossing: sta crawlen toe en voeg noindex toe. Een geblokkeerde pagina kan zijn noindex niet laten zien.
| Doel | robots.txt | noindex | Juiste keuze |
|---|---|---|---|
| Pagina uit de zoekresultaten houden | Onbetrouwbaar | Ja | Crawlen toestaan + noindex |
| Crawlbudget sparen (filters, zoekpagina’s) | Ja | Geen effect op crawlen | robots.txt Disallow |
| Al geïndexeerde pagina verwijderen | Maakt het erger | Ja | Deblokkeren + noindex, of 404/410 |
| AI-trainingsbots weren | Ja (per user-agent) | Nee | robots.txt |
Beide statussen oplossen
- Open het robots.txt-rapport in Search Console (Instellingen → robots.txt). Het toont welke versie Google ophaalde, wanneer, en eventuele fouten.
- Zoek de regel die past. Regels werken op het begin van het pad: Disallow: /blog blokkeert ook /blog-tips/.
- Pas voorzichtig aan. In WordPress kan dat via Yoast (Extra → Bestandseditor) of Rank Math. Blokkeer nooit CSS of JavaScript die je pagina’s nodig hebben.
- Houd de sitemapregel erin: Sitemap: https://jouwsite.nl/sitemap_index.xml.
- Valideer. Klik op “Oplossing valideren” of vraag indexering aan voor de belangrijkste pagina’s.
De grootste robots.txt-fout is het gebruiken om pagina’s te “verbergen”. Het verbergt niets — het maakt Google alleen blind. Gebruik robots.txt om crawlwerk te besparen en noindex om te bepalen wat in de zoekresultaten komt.
Een uitgewerkt voorbeeld
Een sitebeheerder wil interne zoekresultaten uit Google houden en zet Disallow: /?s= in robots.txt én een noindex op de zoekpagina’s. Klinkt dubbel veilig, maar het bijt elkaar: door de Disallow mag Google de pagina’s niet meer lezen en ziet hij de noindex dus nooit. URL’s met veel inkomende links kunnen dan als kale resultaten blijven staan — precies de melding “Geïndexeerd, maar geblokkeerd door robots.txt”. De juiste volgorde: eerst alleen de noindex laten staan tot de pagina’s uit de index zijn, en pàs daarna eventueel de Disallow toevoegen om crawlbudget te sparen. Andersom werkt het nooit.
AI-crawlers: wil je GPTBot, ClaudeBot of Google-Extended apart toestaan of blokkeren, lees dan AI-crawlers en robots.txt — met voorbeeldregels per bot.
Test je regels direct met onze gratis robots.txt-tester (Engels): je ziet welke regel een URL blokkeert voor Googlebot.
Veelgestelde vragen
Haalt robots.txt een pagina uit Google?
Nee. robots.txt stopt alleen het crawlen. Een geblokkeerde URL kan via links toch geïndexeerd worden. Gebruik noindex, of verwijder de pagina en geef een 404 of 410.
Moet ik AI-crawlers blokkeren in robots.txt?
Dat kan, met regels voor hun eigen user-agents, maar het is een afweging: blokkeer je de crawler van een assistent, dan kom je niet in zijn antwoorden terecht.
Hoe snel ziet Google wijzigingen in robots.txt?
Google bewaart robots.txt doorgaans tot ongeveer een dag in de cache. Het robots.txt-rapport toont wanneer het laatst is opgehaald.
Waar is de robots.txt-tester gebleven?
Google heeft de oude tester vervangen door het robots.txt-rapport onder Instellingen in Search Console. URL-inspectie laat per URL zien of hij geblokkeerd is.
Waar vind ik mijn robots.txt?
Altijd in de root: jouwsite.nl/robots.txt. In WordPress kun je hem bewerken via Yoast (Extra → Bestandseditor) of Rank Math.
Verbergt robots.txt een pagina voor bezoekers?
Nee. Iedereen kan de URL gewoon openen en het robots.txt-bestand zelf is openbaar. Gebruik een login voor echt privémateriaal.