Où mettre le fichier robots.txt ?

À la racine du site : monsite.fr/robots.txt. Sur WordPress, une extension SEO ou ton hébergeur te permet de le modifier.

robots.txt protège-t-il une page privée ?

Non. Il demande aux robots de ne pas lire, sans rien bloquer. Protège les pages privées par un mot de passe.

Faut-il bloquer GPTBot ?

Seulement si tu refuses que tes contenus servent à l’entraînement. Pour être cité dans ChatGPT, ce sont OAI-SearchBot et ChatGPT-User qui comptent.

Générateur de robots.txt pour les IA

Choisis quels robots d’IA peuvent lire ton site, ajoute tes dossiers à exclure et ton plan du site : ton robots.txt s’écrit au fur et à mesure, prêt à copier.

Point de départ

Être cité par les IATous les robots d’IA autorisés. Recommandé pour le GEO.Cité, sans entraînementRéponses et recherche autorisées, entraînement des modèles bloqué.Bloquer les IAAucun robot d’IA autorisé : tu ne seras pas cité.

Robots d’IA

Robot	Utilisé par	Rôle	Autorisé
OAI-SearchBot	ChatGPT	Réponses et recherche	Autorisé OAI-SearchBot
ChatGPT-User	ChatGPT	Réponses et recherche	Autorisé ChatGPT-User
PerplexityBot	Perplexity	Réponses et recherche	Autorisé PerplexityBot
Perplexity-User	Perplexity	Réponses et recherche	Autorisé Perplexity-User
Claude-SearchBot	Claude	Réponses et recherche	Autorisé Claude-SearchBot
Claude-User	Claude	Réponses et recherche	Autorisé Claude-User
GPTBot	ChatGPT	Entraînement	Autorisé GPTBot
ClaudeBot	Claude	Entraînement	Autorisé ClaudeBot
Google-Extended	Gemini	Entraînement	Autorisé Google-Extended
Applebot-Extended	Apple Intelligence	Entraînement	Autorisé Applebot-Extended
Meta-ExternalAgent	Meta AI	Entraînement	Autorisé Meta-ExternalAgent
CCBot	Common Crawl	Entraînement	Autorisé CCBot
Bytespider	TikTok	Entraînement	Autorisé Bytespider

Tous les robots

Dossiers à exclure, un par ligne

Exemple : /admin/ ou /panier/

Adresse du plan du site

Exemple : https://monsite.fr/sitemap.xml

Bloquer tout le site (site en préparation)À n’utiliser que sur un site de test : Google et les IA ne liront plus rien.

Ton robots.txt

Enregistre-le à la racine de ton site, à l’adresse /robots.txt.

# robots.txt créé avec le générateur gratuit de TadaSEO

# Tous les robots
User-agent: *
Allow: /

# Robots d’IA : réponses et recherche
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# Robots d’IA : entraînement des modèles
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

User-agent: CCBot
Allow: /

User-agent: Bytespider
Allow: /

Quels robots d’IA autoriser ?

Réponses et recherche
OAI-SearchBot, ChatGPT-User, PerplexityBot ou Claude-SearchBot lisent ta page quand une IA prépare sa réponse. Les bloquer, c’est ne jamais être cité.
Entraînement
GPTBot, ClaudeBot, Google-Extended ou CCBot collectent des pages pour entraîner les modèles. Les bloquer ne t’empêche pas d’être cité, mais rend ta marque moins connue des IA.
Un groupe par robot
Un robot qui a son propre groupe ignore les règles du groupe « tous les robots ». Le générateur recopie donc tes dossiers à exclure dans chaque groupe.
Le plan du site
La ligne Sitemap permet à tous les moteurs de trouver tes pages. Mets l’adresse complète, en https.

À la racine du site : monsite.fr/robots.txt. Sur WordPress, une extension SEO ou ton hébergeur te permet de le modifier.
Non. Il demande aux robots de ne pas lire, sans rien bloquer. Protège les pages privées par un mot de passe.
Seulement si tu refuses que tes contenus servent à l’entraînement. Pour être cité dans ChatGPT, ce sont OAI-SearchBot et ChatGPT-User qui comptent.