robots.txt voor AI-bots
Blokkeer je per ongeluk de bots van ChatGPT of Perplexity, dan kunnen die je pagina's niet ophalen als een koper een vraag stelt. Zo stel je robots.txt in voor AI-bots, per bot en per doel.
Wil je genoemd worden in AI-antwoorden, laat dan in elk geval de zoek- en gebruikersbots toe: OAI-SearchBot en ChatGPT-User (OpenAI), Claude-SearchBot en Claude-User (Anthropic), PerplexityBot en Perplexity-User, en Bingbot (voor Copilot). Trainingsbots zoals GPTBot, ClaudeBot, Google-Extended en CCBot kun je apart toelaten of blokkeren: dat bepaalt of je content gebruikt wordt om modellen te trainen, niet of je in zoekantwoorden kunt verschijnen. Check ook je CDN of firewall: die blokkeert AI-bots soms buiten robots.txt om.
Twee soorten AI-bots
De belangrijkste les: niet elke AI-bot doet hetzelfde. De grote aanbieders gebruiken aparte bots voor verschillende doelen.
- Trainingsbots verzamelen content om toekomstige modellen te trainen. Blokkeren betekent: je content gaat niet (meer) mee in de training.
- Zoekbots bouwen een index op waarmee de assistent actuele antwoorden geeft, met bronnen erbij.
- Gebruikersbots halen een pagina op omdat een gebruiker daar op dat moment om vraagt, bijvoorbeeld door een link te plakken.
Voor zichtbaarheid in antwoorden zijn vooral de zoek- en gebruikersbots belangrijk. Of je trainingsbots toelaat, is een aparte afweging. Voor de meeste SaaS-bedrijven die gevonden willen worden, is toelaten de logische keuze: hoe beter een model je kent, hoe beter het je kan beschrijven.
Overzicht per aanbieder
| Aanbieder | User-agent | Doel |
|---|---|---|
| OpenAI (ChatGPT) | GPTBot | Training |
OAI-SearchBot | Zoeken in ChatGPT | |
ChatGPT-User | Ophalen op verzoek van een gebruiker | |
| Anthropic (Claude) | ClaudeBot | Training |
Claude-SearchBot | Zoeken in Claude | |
Claude-User | Ophalen op verzoek van een gebruiker | |
| Perplexity | PerplexityBot | Index voor zoekantwoorden |
Perplexity-User | Ophalen op verzoek van een gebruiker | |
| Google (Gemini) | Google-Extended | Token voor gebruik in Gemini-training en -grounding. Geen aparte crawler; Googlebot haalt op. |
| Microsoft (Copilot) | Bingbot | Bing-index, waar Copilot op leunt |
| Apple | Applebot-Extended | Token voor gebruik in Apple's AI-training |
| Common Crawl | CCBot | Open webarchief, veel gebruikt als trainingsdata |
Aanbieders voegen geregeld bots toe of passen namen aan. Controleer de actuele documentatie van elke aanbieder voordat je regels aanpast.
Een uitzondering: Google AI Overviews
Google-Extended bepaalt niet of je in AI Overviews of AI Mode in Google Zoeken verschijnt. Die functies gebruiken de gewone zoekindex van Googlebot. Je kunt je daar alleen uit halen met maatregelen die ook je gewone zoekresultaten raken, zoals nosnippet. Voor een SaaS-bedrijf dat gevonden wil worden is dat zelden verstandig.
Een voorbeeld voor SaaS-sites
Dit voorbeeld laat alle genoemde AI-bots toe en houdt de gewone regels voor de rest van je site aan. Pas de Disallow-regels aan op je eigen situatie, zoals een app-omgeving of interne zoekresultaten.
# Alle bots: houd app en interne zoekpagina's buiten de index User-agent: * Disallow: /app/ Disallow: /zoeken? # AI-zoek-, gebruikers- en trainingsbots expliciet toegestaan User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: GPTBot User-agent: Claude-SearchBot User-agent: Claude-User User-agent: ClaudeBot User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Google-Extended User-agent: Applebot-Extended Disallow: /app/ Disallow: /zoeken? Sitemap: https://www.jouwsoftware.nl/sitemap.xml
Let op: een bot volgt alleen de groep die het best bij zijn naam past. Heeft een bot een eigen groep, dan negeert hij de regels onder User-agent: *. Herhaal je Disallow-regels dus in elke groep.
Wil je trainen niet toestaan maar wel zichtbaar zijn in zoekantwoorden? Zet dan GPTBot, ClaudeBot, Google-Extended, Applebot-Extended en CCBot in een eigen groep met Disallow: /, en laat de zoek- en gebruikersbots toe.
De verborgen blokkade: CDN en firewall
robots.txt is een verzoek, geen slot. Maar andersom kan je site AI-bots ook blokkeren zonder dat het in robots.txt staat. Firewalls en CDN's zoals Cloudflare hebben instellingen om AI-crawlers of "bots" in het algemeen te weren, en die staan soms standaard aan. De bot krijgt dan een foutmelding of een uitdaging in plaats van je pagina.
Zo check je het:
- Kijk in de bot- of beveiligingsinstellingen van je CDN of hostingpartij naar regels voor AI-crawlers.
- Doe een request met de user-agent van een AI-bot (bijvoorbeeld met
curl -A "OAI-SearchBot") en kijk of je een normale pagina terugkrijgt. Sommige CDN's controleren ook het IP-adres, dus een geslaagde test is geen garantie; een mislukte test is wel een duidelijk signaal. - Kijk in je serverlogs of de bots echt langskomen, en welke statuscodes ze krijgen.
En dan nog: kan de bot je content lezen?
Toegang is stap één. Stap twee is dat de bot iets vindt. Veel AI-crawlers voeren geen JavaScript uit. Wordt je content pas in de browser opgebouwd, dan zien ze een lege pagina. Controleer de paginabron van je belangrijkste pagina's: staan je koppen en productuitleg in de HTML? Zo niet, overweeg server-side rendering of statische generatie voor je marketingpagina's.
En llms.txt?
llms.txt is een voorstel voor een bestand dat een AI-vriendelijke samenvatting van je site geeft. Er is geen bewijs dat de grote AI-assistenten het gebruiken om te bepalen welke merken ze noemen. Het kost weinig en kan geen kwaad. Zet het niet bovenaan je lijst.
Wil je weten hoe jouw site ervoor staat? De gratis AI-check test je robots.txt per AI-bot en kijkt of je content zonder JavaScript leesbaar is.