OAI-SearchBot, GPTBot, Google-Extended : quelles règles pour votre site ?
Les contrôles de recherche et d’entraînement ne sont pas interchangeables. OAI-SearchBot concerne la recherche ChatGPT ; GPTBot concerne l’entraînement. Google-Extended contrôle certains usages liés à Gemini et à son ancrage, sans modifier l’inclusion du site dans Google Search.
Une règle robots.txt peut répondre à une décision éditoriale ou technique, mais elle doit cibler le bon usage. Bloquer tous les robots associés à une entreprise n’a pas les mêmes conséquences que limiter un usage précis. Commencez par définir ce que vous souhaitez autoriser, puis vérifiez les documentations actuelles.
Distinguez les rôles avant de changer les règles
La documentation officielle OpenAI sépare plusieurs agents. OAI-SearchBot est utilisé pour faire apparaître des sites dans les recherches ChatGPT. GPTBot est lié à la collecte de contenus pouvant servir à l’entraînement des modèles. Leurs réglages sont indépendants.
ChatGPT-User correspond à certains accès déclenchés par une action utilisateur ; il ne pilote pas l’éligibilité à Search et ne suit pas nécessairement le même fonctionnement qu’un robot d’exploration automatique. Il ne faut donc pas le traiter comme un substitut à OAI-SearchBot.
| Agent ou jeton | Usage à distinguer |
|---|---|
| OAI-SearchBot | Recherche dans ChatGPT |
| GPTBot | Entraînement des modèles OpenAI |
| ChatGPT-User | Certains accès demandés par un utilisateur |
| Googlebot | Exploration utilisée pour Google Search |
| Google-Extended | Certains usages d’entraînement et d’ancrage liés à Gemini |
Comprenez la particularité de Google-Extended
Google décrit Google-Extended comme un jeton de contrôle, sans agent HTTP séparé. Il concerne certains usages d’entraînement et d’ancrage de Gemini. Google précise que ce réglage ne détermine pas l’inclusion ni le classement dans Google Search.
Cela évite deux raccourcis : autoriser Googlebot ne décrit pas à lui seul tous les usages Gemini, et bloquer Google-Extended ne signifie pas retirer le site de la recherche Google. Conservez une politique écrite par usage, plutôt qu’un objectif vague de « bloquer l’IA ».
Regardez aussi les protections situées devant le site
Un fichier robots.txt permissif ne suffit pas si un pare-feu, une protection anti-bot ou l’hébergement refuse les requêtes concernées. Inversement, modifier le pare-feu sans relire robots.txt peut laisser une interdiction éditoriale en place.
Contrôlez la réponse réellement reçue, les redirections, les limites de débit et les éventuels écrans intermédiaires. Si vous vérifiez une identité de robot, utilisez les méthodes et plages publiées par le fournisseur. Une chaîne User-Agent seule peut être imitée ; elle ne prouve pas l’origine d’une requête.
Ne confondez pas exploration et désindexation
Interdire l’exploration d’une URL n’est pas la même action que demander son retrait des résultats. De même, les directives d’extrait ne jouent pas le même rôle qu’une interdiction d’accès. Avant une modification globale, identifiez les pages publiques à faire connaître et les espaces qui ne doivent pas être accessibles.
Les comptes, données clients et applications privées doivent reposer sur des protections d’accès adaptées. Robots.txt est un fichier public de consignes, pas un dispositif d’authentification. Ne l’utilisez pas pour cacher des informations confidentielles.
Vérifiez et documentez la modification
Sauvegardez les règles précédentes, appliquez le changement voulu et relisez la version réellement servie sur le domaine canonique. Vérifiez ensuite quelques URL représentatives. Les robots et les moteurs n’appliquent pas tous instantanément une nouvelle configuration.
Gardez la preuve de la règle et celle de l’accès séparées de l’apparition dans une réponse. Une configuration correcte rend un usage possible ; elle n’impose pas la sélection de votre contenu. L’audit GEO des pages complète ce contrôle avec le contenu et les liens internes.
Questions fréquentes
Peut-on autoriser ChatGPT Search tout en refusant GPTBot ?
OpenAI documente l’indépendance de ces réglages. Vous pouvez donc définir une politique distincte pour la recherche et l’entraînement, puis en vérifier la mise en œuvre technique.
Faut-il ajouter des noms de robots trouvés dans des listes non officielles ?
Vérifiez d’abord leur rôle et leur existence dans une documentation fournisseur. Des règles accumulées sans objectif rendent le fichier plus difficile à maintenir et peuvent produire des effets inattendus.
Sources
Documentation consultée le 18 octobre 2026.