Laat A.I.-bots je website lezen

Je kunt de mooiste website hebben, maar als de bots van ChatGPT, Claude en Perplexity hem niet kunnen lezen, besta je niet in hun antwoorden. Je website vindbaar maken voor A.I.-bots is de technische kant van GEO: zorgen dat de juiste crawlers binnenkomen, alles kunnen lezen en precies begrijpen wie je bent.

Kort antwoord: laat de zoekbots van A.I.-diensten toe in je robots.txt, controleer dat je hosting of firewall ze niet blokkeert, zorg dat je tekst in de HTML staat en niet pas via JavaScript verschijnt, voeg gestructureerde gegevens toe en meld je site aan bij Bing. Dan kan een A.I. je lezen, begrijpen en noemen.

Welke A.I.-bots bezoeken je website?

Er zijn twee soorten: bots die het web lezen om een model te trainen, en bots die live zoeken als iemand een vraag stelt. Voor gevonden worden gaat het vooral om de tweede soort.

• OpenAI: GPTBot (training), OAI-SearchBot (zoeken in ChatGPT), ChatGPT-User (als iemand een link laat openen).
• Anthropic: ClaudeBot (training), Claude-SearchBot en Claude-User (zoeken en openen).
• Perplexity: PerplexityBot en Perplexity-User.
• Google: Googlebot leest je site ook voor de A.I.-antwoorden in Google. Met Google-Extended bepaal je of Gemini je teksten voor training mag gebruiken.
• Apple: Applebot, met Applebot-Extended voor training.

Staan de deuren open? Check je robots.txt

Open jouwsite.nl/robots.txt. Staat daar Disallow: / onder een van de bots hierboven, dan sluit je die buiten. Wil je wel gevonden worden maar niet gebruikt voor training, laat dan de zoekbots toe en blokkeer alleen de trainingsbots. Dat is een keuze die je zelf maakt: training levert je niets direct op, gevonden worden wel.

Let op: sommige hostingpartijen en firewalls blokkeren A.I.-bots tegenwoordig standaard, ook als je robots.txt ze toelaat. Cloudflare doet dat bijvoorbeeld voor nieuwe domeinen. Kijk dus ook in de instellingen van je hosting of CDN.

Kan de bot je tekst wel lezen?

Veel A.I.-bots voeren geen JavaScript uit. Bouwt je website de tekst pas in de browser op, dan zien ze een lege pagina. Test het zo: open je pagina, kies paginabron weergeven en zoek een zin uit je tekst. Staat hij er niet in, dan ziet een bot hem waarschijnlijk ook niet.

• Zet belangrijke tekst niet alleen in afbeeldingen of pdf’s.
• Geef afbeeldingen een beschrijvende alt-tekst.
• Houd je site snel: trage pagina’s worden minder vaak gelezen.

1. Gestructureerde gegevens (schema.org): bedrijfsnaam, adres, diensten, prijzen, openingstijden en veelgestelde vragen in een vorm die machines direct lezen.
2. Een duidelijke opbouw: één onderwerp per pagina, koppen die vragen beantwoorden, het antwoord direct eronder.
3. Een sitemap, zodat bots al je pagina’s vinden.
4. Een llms.txt: een kort bestand met een samenvatting van je bedrijf en je belangrijkste pagina’s. Nog geen officiële standaard, wel snel gemaakt.
5. Dezelfde bedrijfsgegevens overal: website, Google, KvK en vermeldingen op andere sites.

Vergeet Bing niet

ChatGPT haalt zijn zoekresultaten voor een groot deel uit de index van Bing. Meld je site daarom aan bij Bing Webmaster Tools en dien je sitemap in. Met IndexNow geef je nieuwe of gewijzigde pagina’s direct door aan Bing en andere zoekmachines.

Zo test je het zelf in 10 minuten

1. Bekijk je robots.txt op blokkades.
2. Zoek een zin uit je tekst in de paginabron.
3. Test je gestructureerde gegevens met de Rich Results Test van Google.
4. Vraag ChatGPT met zoekfunctie: “wat doet [jouw bedrijf] in [jouw plaats]?”
5. Kijk in je statistieken of er bezoek komt via chatgpt.com of perplexity.ai.

Veelgestelde vragen over je website vindbaar maken voor A.I.-bots

Moet ik de trainingsbots ook toelaten?

Dat is een keuze. Voor gevonden worden zijn vooral de zoekbots belangrijk. Wil je dat je teksten niet in toekomstige modellen terechtkomen, blokkeer dan alleen de trainingsbots.

Hoe snel word ik daarna genoemd?

Zoekbots lezen je site vaak binnen dagen of weken. Of je genoemd wordt, hangt daarna af van je inhoud. Lees gevonden worden door ChatGPT: GEO in 7 stappen.

Kun je mijn site hierop controleren?

Ja. In de gratis A.I.-scan kijk ik of A.I.-bots je site kunnen lezen en begrijpen. Meer op SEO, GEO en marketing.