Blog

De techniek achter AI-zoekmachines: crawlers, schema en llms.txt

Welke AI-bots je site bezoeken, wat je ze toestaat en welke technische maatregelen voor AI-zoekmachines echt iets doen.

In het kort

  • AI-crawlers vallen in drie groepen: bots voor training, bots voor een zoekindex en agents die live een pagina ophalen als een gebruiker iets vraagt.
  • Met robots.txt kun je training blokkeren en zoeken toestaan, bijvoorbeeld GPTBot weren en OAI-SearchBot toelaten.
  • Google-Extended is geen crawler maar een robots.txt-token en heeft geen invloed op Google Search en AI Overviews.
  • Structured data is volgens Google niet vereist voor AI-functies in Search, maar blijft nuttig voor rich results en duidelijkheid over wie je bent.
  • Google Search negeert llms.txt; het bestand is onschadelijk en kan voor andere diensten nuttig zijn, maar is geen rankingfactor.

Voor AI-zoekmachines geldt technisch grotendeels hetzelfde als voor Google: je content moet crawlbaar, indexeerbaar en zonder JavaScript leesbaar zijn, en via robots.txt bepaal je welke AI-crawlers wat mogen. Structured data en llms.txt zijn hulpmiddelen, geen toegangskaartje. Google zegt expliciet dat geen van beide nodig is om in AI Overviews of AI Mode te verschijnen.

Dit artikel is voor marketeers, developers en website-eigenaren die willen weten wat er technisch moet gebeuren, en wat niet. Ik behandel de AI-crawlers, robots.txt-keuzes, JavaScript en snelheid, schema markup en llms.txt. Hoe AI-zoekmachines vervolgens bronnen kiezen en wat je aan content en reputatie doet, lees je in mijn artikel over AI SEO en hoe AI-zoekmachines bronnen kiezen.

Welke AI-crawlers zijn er en wat doen ze?

AI-crawlers vallen in drie groepen: bots die content verzamelen voor het trainen van modellen, bots die een zoekindex vullen, en agents die een pagina live ophalen omdat een gebruiker er op dat moment om vraagt. Dat onderscheid is de basis voor elke robots.txt-keuze.

Crawler of tokenVanDoelGevolg van blokkeren
GPTBotOpenAITraining van modellenSignaal dat je content niet voor training gebruikt mag worden
OAI-SearchBotOpenAIWebsites tonen in de zoekfuncties van ChatGPTJe pagina's worden niet als bron getoond; hooguit nog als navigatielink
ChatGPT-UserOpenAIPagina ophalen als een gebruiker ChatGPT iets vraagtGeen automatische crawler; robots.txt geldt volgens OpenAI mogelijk niet
OAI-AdsBotOpenAIControle van advertentie-landingspagina'sAlleen relevant als je adverteert
PerplexityBot / Perplexity-UserPerplexityZoekindex / live opvragingenMinder of geen zichtbaarheid in Perplexity-antwoorden
ClaudeBot / Claude-SearchBot / Claude-UserAnthropicTraining / zoeken / live opvragingenPer bot apart te sturen
Google-ExtendedGoogleToken: gebruik voor training en grounding van Gemini-modellen en -appsGeen effect op Google Search en AI Overviews
Applebot-ExtendedAppleTraining van Apple-modellenGeen training; Applebot zelf blijft crawlen
BingbotMicrosoftBing-index, ook de basis van Microsoft CopilotWeg uit Bing én Copilot

Bronnen: de documentatie van OpenAI over zijn crawlers en de documentatie van de andere aanbieders. Namen en functies veranderen af en toe; controleer ze daarom jaarlijks.

Moet je AI-bots blokkeren in robots.txt?

Blokkeer alleen wat je bewust niet wilt, en maak het onderscheid tussen trainen en zoeken. Wie zichtbaar wil zijn in AI-antwoorden, laat de zoekbots toe. Of je training toestaat, is een zakelijke keuze, geen SEO-noodzaak.

Een veelgemaakte fout is een algemene ‘blokkeer alle AI’-regel. Daarmee verdwijn je ook uit de zoekfuncties van ChatGPT, Perplexity of Claude, terwijl je misschien alleen training wilde voorkomen. Een uitgebalanceerde robots.txt ziet er bijvoorbeeld zo uit:

  • User-agent: GPTBot + Disallow: / (geen training door OpenAI)
  • User-agent: OAI-SearchBot + Allow: / (wel tonen in ChatGPT search)
  • User-agent: ClaudeBot + Disallow: / en User-agent: Claude-SearchBot + Allow: /
  • User-agent: PerplexityBot + Allow: /
  • User-agent: Google-Extended + Disallow: / als je niet wilt dat Gemini je content gebruikt

Dit is een voorbeeld, geen standaardadvies. Een uitgever met betaalde content maakt andere keuzes dan een dienstverlener die juist genoemd wil worden.

Twee kanttekeningen. Robots.txt is een verzoek, geen beveiliging: nette bots houden zich eraan, maar het is geen slot op de deur. En controleer naast robots.txt ook je CDN, firewall of hostingpakket. Sommige diensten hebben instellingen die bots blokkeren voordat ze je robots.txt zelfs maar lezen. Dat zie je niet in je CMS, wel in je serverlogs.

Wat doet Google-Extended precies?

Google-Extended is geen aparte crawler maar een token in robots.txt. Het bepaalt of Google je content mag gebruiken voor training en grounding van Gemini-modellen en -apps. Op Google Search en AI Overviews heeft het géén invloed.

Dat is een belangrijk detail. Wie Google-Extended blokkeert in de hoop uit AI Overviews te blijven, bereikt dat niet. Volgens Google's documentatie over AI-functies en je website stuur je de weergave in AI Overviews en AI Mode met dezelfde middelen als gewone snippets: nosnippet, data-nosnippet, max-snippet en noindex. Die raken dan wel ook je gewone zoekresultaten. Er is geen knop die alleen AI-functies uitzet.

Waarom moet je content in de HTML staan, en niet alleen in JavaScript?

Omdat je er niet van uit kunt gaan dat elke AI-crawler JavaScript uitvoert. Google rendert JavaScript, maar de meeste AI-bedrijven documenteren nauwelijks hoe hun bots met JavaScript omgaan. De veilige aanname: wat niet in de HTML-bron staat, bestaat voor een deel van de bots niet.

Denk aan productinformatie die pas na het laden via een script verschijnt, FAQ-antwoorden die in een accordeon worden ingeladen, of een complete single-page app die zonder JavaScript een lege pagina toont. Google's gids voor generatieve AI-functies (mei 2026) noemt de basisregels van JavaScript-SEO expliciet bij de technische vereisten, naast crawlbaarheid, indexeerbaarheid, snippets toestaan, goede page experience en minder duplicate content. Server-side rendering of statische HTML lost dit op.

Snelheid hoort bij hetzelfde verhaal. Een trage server of zware pagina kost crawlbudget en geeft gebruikers een slechte ervaring. Houd de Core Web Vitals binnen de grenzen voor ‘goed’: Largest Contentful Paint (LCP) tot 2,5 seconden, Interaction to Next Paint (INP) tot 200 milliseconden en Cumulative Layout Shift (CLS) tot 0,1.

In oktober 2026 heb ik seomotion.nl en racemotion.nl van WordPress gemigreerd naar statische HTML op Netlify, met 0 JavaScript. Alle tekst staat direct in de HTML, dus elke bot leest hetzelfde als een bezoeker. Racemotion.nl ging op PageSpeed Insights mobiel van 71 naar 100, en de LCP daalde van 6,2 naar 1,4 seconden. Seomotion.nl scoort 100 op mobiel en desktop. Voor AI-crawlers is dit het eenvoudigst denkbare scenario: niets te renderen, niets te raden.

Helpt structured data (schema markup) om in AI-antwoorden te komen?

Niet rechtstreeks. Google zegt dat structured data niet vereist is voor generatieve AI-functies en dat er geen speciale schema.org-markup voor bestaat. Wel raadt Google structured data aan voor rich results, en het helpt systemen te begrijpen wie je bent en waar een pagina over gaat.

Structured data (ook wel schema markup) is code in JSON-LD die de inhoud van een pagina in een vaste woordenlijst beschrijft: dit is een organisatie, dit is de auteur, dit is een product met deze prijs. Het is geen geheime rankingfactor en het compenseert geen zwakke content. De markup moet altijd overeenkomen met wat zichtbaar op de pagina staat.

TypeWaarvoorWat het oplevert
Organization + sameAsJe bedrijf, logo, contactgegevens en profielen eldersDuidelijkheid over je merk als entiteit
PersonDe auteur of specialist achter de contentVerbindt content aan een herkenbare expert
Article / BlogPostingArtikelen met auteur en datumContext over publicatie en actualiteit
Product + OfferProductpagina's met prijs en voorraadRich results; samen met Merchant Center belangrijk voor producten in AI-antwoorden
LocalBusinessLokale vestigingenAanvulling op je Google Bedrijfsprofiel
BreadcrumbListSitestructuurKruimelpad in zoekresultaten, duidelijke hiërarchie

FAQPage-markup levert sinds 2023 bij Google alleen nog rich results op voor gezaghebbende overheids- en zorgwebsites. Je mag het gebruiken, maar verwacht er geen uitklapvragen in Google meer van.

Wat is llms.txt en heeft het zin?

Llms.txt is een Markdown-bestand in de root van je website met een korte samenvatting en links naar je belangrijkste pagina's, bedoeld voor taalmodellen. Google Search gebruikt het niet, en er is geen bewijs dat grote AI-zoekmachines het systematisch lezen.

Het voorstel komt van Jeremy Howard (Answer.AI) uit september 2024 en staat op llmstxt.org. Google is er in zijn gids van mei 2026 duidelijk over: llms.txt, andere AI-tekstbestanden en speciale markup of Markdown-versies zijn niet nodig, want ‘Google Search ignores these files’. Google noemt ze wel onschadelijk en mogelijk nuttig voor andere diensten.

Wanneer is het toch zinvol? Vooral bij technische documentatie, API's en tools waar developers en AI-agents snel de juiste pagina's moeten vinden. Voor een gewone bedrijfssite is het een kleine moeite zonder aantoonbaar effect op zichtbaarheid.

Seomotion.nl heeft zelf een llms.txt. Niet omdat ik verwacht dat het me in AI Overviews brengt, want Google zegt het tegendeel, maar omdat het tien minuten werk is, niets kapotmaakt en agents een nette ingang geeft. Ik zou het nooit boven een goede XML-sitemap of schone HTML prioriteren.

Hoe controleer je je site op AI-zoekmachines?

Met een paar gerichte controles weet je binnen een uur of AI-crawlers je site kunnen lezen. Dit is de volgorde die ik gebruik in een SEO-audit.

  1. Lees je robots.txt en zoek naar regels voor GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot, Claude-SearchBot, Google-Extended en een eventuele algemene User-agent: * met Disallow.
  2. Controleer je CDN, firewall en hosting op instellingen die bots blokkeren of uitdagen met een captcha.
  3. Bekijk de HTML-bron (niet de geïnspecteerde DOM) van je belangrijkste pagina's: staan de hoofdtekst, prijzen en antwoorden er direct in?
  4. Test met de URL-inspectie in Search Console of Google de pagina kan indexeren en wat de gerenderde versie toont.
  5. Controleer Bing Webmaster Tools: indexering in Bing is de basis voor Copilot.
  6. Valideer je structured data met de Rich Results Test of de Schema Markup Validator.
  7. Kijk in je serverlogs welke AI-bots langskomen, welke pagina's ze opvragen en welke statuscodes ze krijgen.

Een kort overzicht om af te vinken:

  • Zoekbots van AI-platforms bewust toegelaten; trainingsbots bewust gekozen
  • Belangrijke content staat in de HTML, niet alleen in JavaScript
  • Geen onbedoelde noindex, nosnippet of te strenge max-snippet
  • Core Web Vitals binnen ‘goed’
  • XML-sitemap aangemeld in Search Console en Bing Webmaster Tools
  • Organization-, Person- en Article-markup die klopt met de zichtbare pagina
  • Canonicals en redirects op orde, weinig duplicate content

Ga je migreren naar een nieuw platform, neem dit dan mee in je planning; in mijn artikel over SEO bij een website-migratie lees je hoe ik dat zelf heb aangepakt.

Mijn advies: wat eerst?

Begin bij toegang en leesbaarheid: robots.txt, CDN en HTML zonder JavaScript-afhankelijkheid. Dat bepaalt of je überhaupt meedoet. Daarna komen snelheid en schone structured data. Llms.txt staat onderaan de lijst: prima om te hebben, maar geen prioriteit.

Wil je weten hoe dit onder de motorkap werkt, lees dan hoe een zoekmachine werkt. Wil je het zelf leren, dan behandel ik dit in de techniek-training. En wil je dat ik met je meekijk, bekijk dan mijn aanpak voor technische SEO. Garanties op citaties geef ik niet, wel een site die technisch niets in de weg staat.

Bronnen

  1. Overview of OpenAI crawlers (OpenAI)
  2. AI features and your website (Google Search Central)
  3. Google's Guide to Optimizing for Generative AI Features on Google Search (Google Search Central, mei 2026)
  4. The /llms.txt file (Jeremy Howard, Answer.AI, september 2024)
  5. Web Vitals (web.dev, Google)

Veelgestelde vragen

Hoe zie ik of GPTBot of andere AI-bots mijn site bezoeken?

Kijk in de serverlogs of de logfunctie van je hosting of CDN en filter op de user-agents, zoals GPTBot, OAI-SearchBot, PerplexityBot en ClaudeBot. Analytics-tools zien bots meestal niet, omdat die geen JavaScript uitvoeren. Let op dat iedereen een user-agent kan nadoen; grote aanbieders publiceren IP-reeksen om echte bots te herkennen.

Heeft het blokkeren van GPTBot invloed op mijn Google-posities?

Nee. GPTBot is van OpenAI en heeft niets met Google Search te maken. Ook Google-Extended blokkeren heeft volgens Google geen invloed op Search of AI Overviews. Je Google-posities hangen af van Googlebot.

Moet ik een Markdown-versie van mijn pagina's aanbieden voor AI?

Voor Google niet: Google zegt dat speciale Markdown-versies en AI-tekstbestanden niet nodig zijn en dat Search ze negeert. Schone, semantische HTML met duidelijke koppen is voor alle crawlers goed leesbaar. Een aparte Markdown-versie levert vooral extra onderhoud op.

Wat is het verschil tussen llms.txt en robots.txt?

Robots.txt is een breed gebruikte standaard waarmee je crawlers vertelt wat ze wel en niet mogen ophalen. Llms.txt is een voorstel uit 2024 dat taalmodellen een samenvatting en een lijst belangrijke links geeft. Robots.txt stuurt toegang; llms.txt geeft hooguit een wegwijzer, en wordt door Google Search genegeerd.

Kan structured data schade doen?

Ja, als de markup niet klopt met wat op de pagina staat, bijvoorbeeld reviews of prijzen die bezoekers niet zien. Dat kan leiden tot een handmatige actie en verlies van rich results. Markup die eerlijk de zichtbare inhoud beschrijft, is veilig.

Benieuwd wat SEO en GEO voor jouw bedrijf kunnen doen?

Vertel me waar je bedrijf nu staat en waar je naartoe wilt. In een kort, vrijblijvend gesprek bespreken we welke stappen het meeste opleveren.

Neem contact op →