Vérifier robots.txt pour GPTBot et les robots IA
Saisis l’adresse de ton site : l’outil lit ton robots.txt et te dit, robot par robot, si ChatGPT, Perplexity, Claude ou Google peuvent lire tes pages.
Quels robots d’IA autoriser ?
OAI-SearchBot et ChatGPT-User
Ce sont eux qui permettent à ChatGPT de lire et citer tes pages quand il répond. Les bloquer, c’est disparaître de ses réponses.
GPTBot
Il sert à entraîner les modèles. Le bloquer n’empêche pas d’être cité dans les recherches, mais laisse moins de chances que ChatGPT connaisse ta marque.
PerplexityBot et Claude-SearchBot
Ils alimentent les réponses de Perplexity et de Claude. Autorise-les si tu veux y être cité.
Bingbot
ChatGPT s’appuie largement sur l’index de Bing. Bloquer Bingbot, c’est se couper d’une partie des citations.
Google-Extended
Il contrôle l’usage de tes pages par l’IA de Google (Gemini), sans effet sur le classement dans la recherche Google.
Seulement si tu refuses que tes contenus servent à entraîner des modèles. Pour être cité dans les réponses de ChatGPT, ce sont OAI-SearchBot et ChatGPT-User qu’il faut autoriser.
Oui : sans fichier, tout est autorisé. Un robots.txt reste utile pour déclarer ton plan du site.
Le pare-feu ou la protection anti-robots de ton hébergeur peut bloquer ces robots sans passer par robots.txt. Vérifie aussi que ton contenu s’affiche sans JavaScript.
Va plus loin avec l’audit complet
L’audit gratuit vérifie aussi la vitesse mobile, l’autorité, les balises de 30 pages et les liens cassés.