OpenAI heeft de officiële beschrijving van zijn webcrawler, OAI-SearchBot , bijgewerkt. Dit is de tool die wordt gebruikt om informatie te verzamelen voor ChatGPT.
Het bedrijf heeft belangrijke details gewijzigd met betrekking tot de werking van de crawler en wat deze wel en niet mag doen.
Deze updates hebben al de aandacht getrokken van SEO-experts en webanalisten.
De veranderingen wijzen erop dat OpenAI de rollen van zijn verschillende bots verfijnt en aanpast hoe ze met websites interageren.
ChatGPT-crawler: Wat OpenAI heeft veranderd in de beschrijving van de crawler
De nieuwe beschrijving verwijdert verwijzingen naar het verzamelen van links en het trainen van content voor basismodellen. Ook worden er nieuwe rollen toegevoegd voor andere OpenAI-bots.
Belangrijke updates:
- OAI-SearchBot vermeldt niet langer het trainen van AI-modellen.
- De ChatGPT-gebruikersbot houdt zich mogelijk niet volledig aan de regels van robots.txt.
- OAI-SearchBot heeft mogelijk geen controle over de links die in ChatGPT-antwoorden worden weergegeven.
- De ChatGPT-gebruikersbot ondersteunt nu aangepaste GPT- en GPT-acties.
- OAI-SearchBot en GPTBot delen nu crawlgegevens.
- Eén crawl kan door beide bots worden uitgevoerd als beide zijn toegestaan.
Uit SEO-logboeken blijkt dat meerdere OpenAI-bots websites bezoeken voor hetzelfde verzoek, wat de bijgewerkte uitleg ondersteunt.
Lees ook over: ChatGPT Ads 2025: OpenAI's volgende gamechanger voor marketing
Waarom deze wijzigingen aan de crawler belangrijk zijn
Deze updates hebben gevolgen voor de manier waarop website-eigenaren de crawlers van OpenAI beheren. De verandering in het gedrag van de robots kan van invloed zijn op hoe content wordt weergegeven in de ChatGPT-resultaten.
Impact op website-eigenaren:
- OAI-SearchBot blokkeren zal niet Voorkom dat links verschijnen in ChatGPT
- GPTBot en OAI-SearchBot kunnen dubbele crawls verminderen.
- De regels in robots.txt zijn mogelijk niet volledig van toepassing op alle OpenAI-bots.
- Uit de sitelogs blijkt mogelijk meer overlap tussen de OpenAI-crawlers.
- Aangepaste GPT-functies zijn mogelijk meer afhankelijk van de ChatGPT-gebruikersbot.
Analisten zeggen dat deze update zou kunnen betekenen dat OpenAI meer flexibiliteit wil in de manier waarop ChatGPT informatie verzamelt. Sommigen denken ook dat OpenAI het verzamelen van gegevens voor modeltraining scheidt van het verzamelen van gegevens over gebruikersacties om verwarring te voorkomen.
Pieter Serraris, die de update ontdekte, zei dat de nieuwe formulering duidt op "grote veranderingen" in de manier waarop OpenAI wil dat zijn bots op het web opereren.
Lees ook:
Heb je vragen? Stel ze hier.
Wees de eerste die een reactie achterlaat.