Aller au contenu principal

OAI-SearchBot, GPTBot, ChatGPT-User : quel robot autoriser ?

Par L’équipe TadaSEO4 min de lecture

Pour être cité par ChatGPT, autorise au minimum OAI-SearchBot et ChatGPT-User dans ton robots.txt, ainsi que Bingbot. GPTBot sert à l’entraînement des modèles : le bloquer n’empêche pas d’être cité dans les recherches, mais réduit les chances que ChatGPT connaisse ta marque.

Cet article complète notre guide du GEO.

Trois robots, trois rôles

ChatGPT utilise plusieurs robots, chacun avec un rôle distinct. Les confondre est la source de la plupart des erreurs de configuration.

RobotRôleEffet d’un blocage
OAI-SearchBotExplore le web pour la recherche de ChatGPTTes pages ne peuvent plus apparaître comme sources dans les réponses avec recherche
ChatGPT-UserLit une page à la demande, quand un utilisateur ou ChatGPT veut la consulter pendant une conversationChatGPT ne peut pas ouvrir ta page quand quelqu’un la lui demande
GPTBotCollecte des pages pour l’entraînement des modèlesTes contenus ne servent plus à l’entraînement ; sans effet direct sur les citations en recherche

Le point clé : OAI-SearchBot et ChatGPT-User conditionnent la citation, GPTBot conditionne la connaissance générale du modèle.

Faut-il bloquer GPTBot ?

C’est une décision éditoriale. Certains éditeurs de presse le bloquent pour ne pas laisser leurs articles servir à l’entraînement sans contrepartie. Pour une petite entreprise qui veut être connue et recommandée, le raisonnement est souvent inverse : plus ton activité est présente dans les données d’entraînement, plus le modèle a de chances de te connaître quand il répond sans chercher sur le web.

Notre recommandation pour un site commercial : autoriser les trois. Si tu préfères bloquer GPTBot, fais-le explicitement et laisse OAI-SearchBot et ChatGPT-User ouverts.

Et les autres robots d’IA ?

RobotServiceConseil
BingbotIndex de Bing, sur lequel ChatGPT s’appuie largementAutoriser, impérativement
PerplexityBotRecherche de PerplexityAutoriser pour y être cité
Claude-SearchBotRecherche de ClaudeAutoriser pour y être cité
ClaudeBotEntraînement de ClaudeMême logique que GPTBot
Google-ExtendedUsage de tes pages par l’IA de Google (Gemini)Sans effet sur ton classement dans Google

Attention à Bingbot : de nombreuses analyses montrent que les citations de ChatGPT recoupent largement le haut des résultats de Bing (Stackmatix, Yoast). Bloquer Bingbot, c’est se couper d’une grande partie des citations.

À quoi ressemble un bon robots.txt ?

Un robots.txt ouvert aux robots d’IA et aux moteurs de recherche :

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Allow: /
Disallow: /wp-admin/

Sitemap: https://monsite.fr/sitemap.xml

Et si tu veux bloquer uniquement l’entraînement :

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

Un détail qui piège souvent : un robot suit le groupe qui le nomme le plus précisément. Si tu as un groupe User-agent: GPTBot avec Disallow: /, la règle User-agent: * ne s’applique plus à GPTBot. À l’inverse, un User-agent: * avec Disallow: / bloque tous les robots qui ne sont pas nommés ailleurs, y compris OAI-SearchBot.

Quelles sont les erreurs de blocage les plus fréquentes ?

  • Un Disallow: / hérité d’un site en construction, jamais retiré à la mise en ligne.
  • Une extension de sécurité WordPress qui ajoute des règles contre les « mauvais robots » et range les robots d’IA dans le lot.
  • Le pare-feu de l’hébergeur ou d’un CDN qui bloque les robots d’IA sans passer par robots.txt. Ton fichier est parfait, mais les robots reçoivent une erreur 403. Vérifie les réglages anti-robots de ton hébergeur.
  • Un robots.txt introuvable sur la version avec ou sans www, ou en HTTP.
  • Un contenu affiché seulement en JavaScript. Le robot entre, mais ne voit rien : beaucoup de robots d’IA n’exécutent pas JavaScript.

Comment vérifier en 30 secondes ?

Saisis ton adresse dans notre vérificateur de robots.txt : il lit ton fichier et te dit, robot par robot, qui est autorisé et qui est bloqué, avec les lignes à ajouter. Pour aller plus loin (pare-feu, JavaScript, balises, vitesse), lance l’audit gratuit de ton site.

Une fois les robots débloqués, il faut quelques jours à quelques semaines pour que les robots repassent. Le suivi ChatGPT te montre ensuite, semaine après semaine, si tes pages commencent à apparaître dans les réponses.

Sources

Sois le premier trouvé sur Google et cité par ChatGPT.

Lance l’audit gratuit : 30 secondes, sans carte bancaire.

  • Sans carte bancaire
  • Résultat en 30 secondes
  • 5 crédits offerts
Auditer mon site