AI-bedrijven gebruiken verschillende crawlers voor verschillende taken — trainen, zoeken en ophalen namens een gebruiker — en met robots.txt sta je elk daarvan apart toe of blokkeer je hem: laat de zoekcrawlers binnen als je geciteerd wilt worden, en beslis bewust over de trainingscrawlers.
- Per bedrijf drie rollen: training (GPTBot, ClaudeBot), zoeken (OAI-SearchBot, Claude-SearchBot, PerplexityBot) en ophalen voor een gebruiker (ChatGPT-User, Claude-User, Perplexity-User).
- Blokkeer je GPTBot, dan verdwijn je niet uit ChatGPT-zoeken; dat regelt OAI-SearchBot. Wijzigingen voor zoeken verwerkt OpenAI in ongeveer 24 uur.
- Volgens hun eigen documentatie houden ChatGPT-User en Perplexity-User zich niet altijd aan robots.txt, omdat ze handelen op verzoek van een mens.
- Google-Extended regelt Gemini-training en grounding in Gemini Apps en Vertex AI, maar heeft geen invloed op Google Zoeken of je ranking.
- Microsoft heeft geen aparte AI-bot: Copilot gebruikt de Bing-index. Gebruik stuur je daar met de metatags noarchive en nocache.
Welke AI-crawlers zijn er?
Welke moet je toestaan?
Wat doet Google-Extended?
Hoe zit het met Bing en Copilot?
Voorbeeldregels voor robots.txt
Hoe controleer je welke bots langskomen?
Wat gaat er vaak mis?
Veelgestelde vragen
Welke AI-crawlers zijn er in 2026?
De grote AI-bedrijven splitsen hun crawlers inmiddels op naar taak. Dat is goed nieuws: je hoeft niet meer te kiezen tussen “alles open” en “alles dicht”.
- OpenAI: GPTBot verzamelt trainingsdata voor de modellen. OAI-SearchBot bepaalt of je in ChatGPT-zoeken verschijnt. ChatGPT-User haalt een pagina op wanneer een gebruiker daarom vraagt; volgens OpenAI zijn robots.txt-regels daar mogelijk niet van toepassing. Nieuw is OAI-AdsBot, dat pagina’s controleert die als advertentie in ChatGPT worden aangeboden.
- Anthropic: ClaudeBot voor training, Claude-SearchBot voor zoekkwaliteit en Claude-User voor ophalen op verzoek van een gebruiker. Anthropic zegt robots.txt en Crawl-delay te respecteren.
- Perplexity: PerplexityBot bouwt de zoekindex en wordt volgens Perplexity niet gebruikt voor modeltraining. Perplexity-User haalt pagina’s op tijdens een vraag en negeert robots.txt volgens de eigen documentatie “in het algemeen”.
- Google: Google-Extended is geen aparte crawler maar een token in robots.txt; het crawlen gebeurt met de gewone Google-user-agents.
- Apple: Applebot-Extended bepaalt of Apple je content voor AI-training mag gebruiken.
| Crawler | Bedrijf | Rol | Blokkeren kost je |
|---|---|---|---|
| GPTBot | OpenAI | Training | Weinig zichtbaarheid; je data blijft uit toekomstige modellen |
| OAI-SearchBot | OpenAI | ChatGPT-zoeken | Bronvermeldingen in ChatGPT |
| ChatGPT-User | OpenAI | Ophalen voor gebruiker | Weinig effect; regels worden mogelijk niet toegepast |
| ClaudeBot | Anthropic | Training | Weinig zichtbaarheid |
| Claude-SearchBot / Claude-User | Anthropic | Zoeken / ophalen | Zichtbaarheid in Claude-antwoorden |
| PerplexityBot | Perplexity | Zoekindex | Bronvermeldingen in Perplexity |
| Google-Extended | Gemini-training en -grounding | Niets in Google Zoeken | |
| Applebot-Extended | Apple | AI-training | Niets in zoekresultaten |
Welke AI-crawlers moet je toestaan?
Meestal toestaan
Waarom: zij bepalen of je gevonden en geciteerd kunt worden in AI-antwoorden.
Jouw keuze
Waarom: blokkeren houdt je content uit toekomstige modellen, met minder direct effect op je zichtbaarheid.
Voor de meeste bedrijfssites, blogs en webshops is de verstandige standaard: zoekcrawlers toestaan. Als ChatGPT, Claude of Perplexity een vraag beantwoordt waar jij het beste antwoord op hebt, wil je als bron genoemd worden. Hoe je die kans vergroot, lees je in GEO-optimalisatie.
Over trainingscrawlers kun je verschillend denken. Is je content zelf het product — betaald onderzoek, cursusmateriaal, een database — dan is blokkeren verdedigbaar. Is je content bedoeld om gevonden te worden, dan levert blokkeren weinig op en kan het op termijn betekenen dat modellen je merk minder goed kennen.
Wat doet Google-Extended precies?
Google-Extended bepaalt of content die Google crawlt gebruikt mag worden voor het trainen van toekomstige Gemini-modellen en voor grounding in Gemini Apps en Vertex AI. Google schrijft er uitdrukkelijk bij dat Google-Extended geen invloed heeft op opname in Google Zoeken en geen rankingsignaal is.
Belangrijk voor wie denkt zich zo uit AI Overviews te houden: AI Overviews zijn onderdeel van Google Zoeken en werken met de gewone Googlebot-index. Google-Extended blokkeren haalt je daar dus niet uit. Wel kun je sinds 31 augustus 2026 je hele site uitsluiten van AI Overviews en AI Mode met de instelling Generatieve AI in Zoeken in Search Console (Instellingen), zonder uit de gewone zoekresultaten te verdwijnen — uitleg in onze gids over AI Overviews in Search Console (Engels). Wil je een pagina helemaal niet in Google, dan heb je noindex nodig — niet robots.txt.
Hoe zit het met Bing en Microsoft Copilot?
Microsoft werkt anders: er is geen aparte AI-crawler om te blokkeren. Copilot en de AI-antwoorden in Bing gebruiken de gewone Bing-index, gevuld door Bingbot. Blokkeer je Bingbot, dan verdwijn je uit Bing én uit Copilot.
In plaats daarvan gebruikt Bing metatags. Volgens de aankondiging van Microsoft betekent nocache dat alleen URL, titel en fragment in chatantwoorden mogen verschijnen, en noarchive dat je content daar helemaal niet wordt gebruikt — terwijl je gewoon in de zoekresultaten blijft staan. De actuele lijst staat in Bings overzicht van ondersteunde robots-metatags. Hoe vaak Copilot je al citeert, zie je in het AI Performance-rapport van Bing Webmaster Tools.
Voorbeeldregels voor robots.txt
Variant 1 — AI-zoeken toestaan, AI-training blokkeren:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: /
Zoekcrawlers als OAI-SearchBot, Claude-SearchBot en PerplexityBot noem je niet; die mogen dan standaard alles, net als Googlebot en Bingbot.
Variant 2 — alles toestaan (zoals op deze site):
User-agent: * Disallow: Sitemap: https://indexurepoint.com/sitemap_index.xml
Variant 3 — één map afschermen voor één bot:
User-agent: GPTBot Disallow: /premium/
Test elke wijziging in het robots.txt-rapport van Search Console en onthoud dat robots.txt een verzoek is, geen slot. Een pagina die je in robots.txt blokkeert, kan bovendien nog steeds in Google verschijnen — zonder beschrijving. Zie geblokkeerd door robots.txt.
Hoe controleer je welke AI-bots je site bezoeken?
- Serverlogs: zoek in je access-logs naar de user-agent-namen uit de tabel hierboven. De meeste hostingpartijen laten je de ruwe logs downloaden.
- CDN of firewall: Cloudflare en vergelijkbare diensten tonen botverkeer per user-agent en laten je AI-bots per categorie toestaan of weren. Let op dat zo’n instelling niet stilletjes ook Bingbot of Googlebot tegenhoudt.
- Echtheid controleren: iedereen kan zich GPTBot noemen. OpenAI, Google en anderen publiceren IP-reeksen waarmee je kunt nagaan of een bezoek echt van hen komt.
- Resultaat meten: kijk in je analytics naar verwijzend verkeer van chatgpt.com, perplexity.ai en copilot.microsoft.com.
Wat gaat er vaak mis?
- Alles blokkeren uit voorzorg. Een regel als User-agent: * met Disallow: /, of een beveiligingsplugin die “alle AI-bots” weert, houdt je ook uit AI-zoeken.
- Denken dat GPTBot = ChatGPT-zoeken. Dat zijn twee bots met twee rollen. Controleer welke je precies blokkeert.
- Typefouten in de botnaam. GPT-Bot of Claudebot-Search bestaan niet; een onbekende naam wordt genegeerd.
- Bingbot per ongeluk blokkeren. Daarmee verdwijn je uit Copilot én uit de bron waar ChatGPT-zoeken zwaar op leunt.
- Verwachten dat het direct werkt. OpenAI en Perplexity noemen allebei tot ongeveer 24 uur voordat een wijziging verwerkt is.
Voorbeeld: zo doen we het op deze site
IndexUrePoint laat alle crawlers toe; onze robots.txt bestaat alleen uit User-agent: *, een lege Disallow en de verwijzing naar de sitemap. Daarnaast serveren we een /llms.txt (uitleg in het Engels) met een overzicht van onze Engelse en Nederlandse gidsen. Eerlijk is eerlijk: geen van de grote AI-bedrijven heeft bevestigd dat ze llms.txt gebruiken bij het bepalen van bronnen. Het kost niets en schaadt niet, maar het vervangt geen goede robots.txt, sitemap en indexering.
Blokkeer AI-zoekcrawlers bijna nooit: je verdwijnt dan uit de antwoorden waar je klanten steeds vaker beginnen. Over trainingscrawlers mag je bewust kiezen, maar doe het per bot en niet met een botte “alles dicht”-knop.
Test je regels direct met onze gratis robots.txt-tester (Engels): in één klik zie je of GPTBot, ClaudeBot en Googlebot worden toegelaten of geblokkeerd.
Veelgestelde vragen
Verdwijn ik uit ChatGPT als ik GPTBot blokkeer?
Niet vanzelf. ChatGPT-zoeken gebruikt OAI-SearchBot, die los van GPTBot wordt geregeld. GPTBot is de trainingscrawler van OpenAI.
Schaadt het blokkeren van Google-Extended mijn Google-ranking?
Nee. Google stelt dat Google-Extended geen invloed heeft op opname in Google Zoeken en geen rankingsignaal is.
Houdt het blokkeren van Google-Extended mij uit AI Overviews?
Nee. AI Overviews zijn onderdeel van Google Zoeken en gebruiken de gewone Googlebot-index. Google-Extended gaat over Gemini-training en grounding in Gemini Apps en Vertex AI. Wil je uit AI Overviews, gebruik dan de instelling Generatieve AI in Zoeken in Search Console.
Houden alle AI-bots zich aan robots.txt?
De gedocumenteerde crawlers van de grote bedrijven wel. Bots die handelen op verzoek van een gebruiker, zoals ChatGPT-User en Perplexity-User, volgen robots.txt volgens hun eigen documentatie niet altijd, en onbekende scrapers kunnen het volledig negeren.
Hoe blokkeer ik Microsoft Copilot?
Er is geen aparte Copilot-crawler. Met de metatag noarchive gebruikt Bing je content niet in chatantwoorden, met nocache alleen URL, titel en fragment. Bingbot blokkeren haalt je ook uit Bing-zoeken.
Hoe lang duurt het voordat een wijziging in robots.txt werkt?
OpenAI en Perplexity noemen tot ongeveer 24 uur. Google leest robots.txt doorgaans ook binnen een dag opnieuw.
Hoe zie ik welke AI-bots mijn site bezoeken?
Zoek in je serverlogs of in de botstatistieken van je CDN naar de user-agents GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot en PerplexityBot.
Heb ik een llms.txt nodig?
Het is optioneel. Geen van de grote AI-bedrijven heeft bevestigd dat ze het gebruiken voor bronselectie. Een goede robots.txt, sitemap en indexering zijn belangrijker.