L'essentiel

Pour être cité par les IA, laissez passer leurs robots de recherche et de consultation : OAI-SearchBot et ChatGPT-User (OpenAI), Googlebot (AI Overviews et AI Mode), Claude-SearchBot et Claude-User (Anthropic), PerplexityBot, Bingbot (Copilot), meta-webindexer (Meta AI) et Applebot. Les robots d'entraînement (GPTBot, ClaudeBot, meta-externalagent, Applebot-Extended, MistralAI-Training, CCBot) peuvent être bloqués sans effet sur les citations. Google-Extended est un cas à part, sans effet sur la recherche Google mais utilisé aussi par l'application Gemini. Vérifiez enfin que votre hébergeur ou votre CDN ne bloque pas ces robots avant même le robots.txt.

Robots de recherche et robots d'entraînement

Les éditeurs d'IA séparent désormais deux usages de vos pages. Le premier sert à construire un index de recherche ou à ouvrir une page pendant une conversation, et c'est lui qui permet à l'assistant de vous citer. Le second collecte des textes pour entraîner les futurs modèles. Chaque usage a son robot, avec son propre nom, et le robots.txt permet de traiter chacun séparément.

Un éditeur peut donc refuser l'entraînement et rester cité. C'est le réglage que je pose chez les clients qui refusent l'entraînement, en traitant à part le cas de Google-Extended.

Le tableau des robots par éditeur

ÉditeurRobotRôleSi vous le bloquez
OpenAIOAI-SearchBotIndex de recherche de ChatGPTPlus de citation dans les réponses de recherche de ChatGPT
ChatGPT-UserOuvre une page à la demande d'un utilisateurPeut empêcher ChatGPT d'ouvrir vos pages, mais OpenAI prévient que la règle peut ne pas s'appliquer
GPTBotEntraînement des modèlesVos contenus ne servent plus à l'entraînement, sans effet sur la recherche
GoogleGooglebotIndex de Google, dont AI Overviews et AI ModeVous sortez de Google, IA comprise
Google-ExtendedEntraînement de Gemini et ancrage de ses réponsesSans effet sur la recherche Google, mais retrait possible des réponses de l'application Gemini
AnthropicClaude-SearchBotIndex de recherche de ClaudeMoins de visibilité dans les résultats de recherche de Claude
Claude-UserOuvre une page à la demande d'un utilisateurClaude ne peut plus lire vos pages quand un utilisateur le demande
ClaudeBotEntraînement des modèlesVos futurs contenus sont exclus de l'entraînement
PerplexityPerplexityBotRésultats de recherche de Perplexity, pas l'entraînementPlus de citation dans Perplexity
Perplexity-UserOuvre une page à la demande d'un utilisateurEffet incertain, Perplexity indique que ce robot ignore en général le robots.txt
MicrosoftBingbotIndex de Bing, dont Bing Webmaster Tools suit les citations dans CopilotVous sortez de Bing et des réponses de Copilot qui s'appuient sur le web
Metameta-webindexerRecherche de Meta AIMeta AI ne cite plus vos pages
meta-externalagentEntraînement et indexation directeVos contenus ne servent plus à l'entraînement
facebookexternalhitAperçus des liens partagésVos liens s'affichent sans titre ni image sur Facebook, Instagram et Messenger
MistralMistralAI-IndexIndex de recherche de Mistral, pas l'entraînementMistral ne trouve plus vos pages dans sa recherche
MistralAI-UserOuvre une page à la demande d'un utilisateurMistral ne peut plus lire vos pages quand un utilisateur le demande
MistralAI-TrainingEntraînement des modèlesVos contenus ne servent plus à l'entraînement
Common CrawlCCBotArchive ouverte du web, très utilisée pour entraîner des modèlesVos pages sortent des prochaines archives
AppleApplebotRecherche de Siri, Spotlight et SafariVous sortez de ces résultats
Applebot-ExtendedNe visite rien, indique seulement si les pages déjà lues peuvent entraîner les modèlesPlus d'entraînement, vos pages restent dans les résultats

OpenAI, Meta et Perplexity indiquent qu'une modification du robots.txt met jusqu'à 24 heures environ à être prise en compte (pour OpenAI, côté recherche). Pour les éditeurs qui ne publient pas de documentation sur leurs robots, seul un blocage côté serveur est fiable.

Le cas de Google-Extended

Google-Extended n'est pas un robot qui visite vos pages. C'est un nom à utiliser dans le robots.txt pour dire à Google ce qu'il peut faire des pages que Googlebot a déjà lues. Google écrit qu'il n'a aucun effet sur l'inclusion d'un site dans la recherche Google ni sur son classement, et sa page sur les fonctions d'IA de la recherche désigne Googlebot comme le contrôle des AI Overviews et de l'AI Mode.

Mais Google-Extended couvre deux usages, l'entraînement des futurs modèles Gemini et l'ancrage, c'est-à-dire la fourniture de contenus de l'index de Google au modèle au moment où il répond, dans l'application Gemini notamment. Le bloquer peut donc vous retirer de certaines réponses de Gemini. Je ne le bloque que si le client tient avant tout à protéger ses contenus et accepte cette perte.

Un robots.txt type

La configuration que j'applique à un site qui veut être cité par toutes les IA mais refuser l'entraînement tient en trois groupes, plus une option. Google-Extended est dans un groupe à part, en commentaire, à activer seulement si vous acceptez de perdre l'ancrage dans l'application Gemini.

# Recherche et consultation, autorisés
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: meta-webindexer
User-agent: MistralAI-Index
User-agent: MistralAI-User
Allow: /

# Entraînement, refusé
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: meta-externalagent
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: CCBot
Disallow: /

# Option, retire aussi l'ancrage dans l'application Gemini
# User-agent: Google-Extended
# Disallow: /

# Tous les autres robots, dont Googlebot, Bingbot et Applebot
User-agent: *
Allow: /

Sitemap: https://www.exemple.fr/sitemap.xml

Plusieurs lignes User-agent à la suite partagent les règles qui les suivent. Un robot nommé dans une section n'applique que cette section et ignore celle de *. Si votre groupe * contient des Disallow (administration, panier, recherche interne), répétez-les dans chaque groupe nommé, sinon les robots nommés ne les liront pas. Apple précise aussi qu'en l'absence de règle pour Applebot, son robot suit celles de Googlebot.

Le blocage qui n'est pas dans le robots.txt

Dans les audits que je fais, le blocage que je trouve le plus souvent vient de l'hébergeur ou du CDN, pas du robots.txt. Les protections anti-robots renvoient une erreur 403 ou une page de vérification à tout ce qui n'est pas un navigateur ou Googlebot. Le robots.txt autorise le robot, le serveur le refuse, et l'assistant ne lit jamais la page.

Pour le vérifier :

Le signal commun de refus de l'entraînement

Le 30 octobre 2026, Google et Microsoft ont annoncé la prise en charge d'un jeton commun dans le robots.txt pour refuser l'entraînement, issu des travaux du groupe AIPREF de l'IETF. Microsoft le décrit avec la ligne User-Agent: __usage_ai-training suivie d'un Disallow. Google vise une prise en charge en 2027 et prévoit, si ce jeton refuse l'entraînement sans que Google-Extended soit nommé, de traiter le site comme s'il avait bloqué Google-Extended, donc aussi l'ancrage dans Gemini. Anthropic indique de son côté reconnaître ce signal depuis le 30 octobre 2026, avec un déploiement progressif sur ses services, une règle qui nomme ClaudeBot restant prioritaire sur le signal général.

Microsoft ajoute une préférence d'ancrage page par page, par la balise <meta name="Bingbot" content="ai-grounding:disallow"> ou l'en-tête X-Robots-Tag. Il appliquera ces préférences à partir du 1er février 2027, et ne lira plus NOARCHIVE et NOCACHE comme des préférences d'entraînement ou d'ancrage après le 1er mars 2027. Je mettrai cette page à jour quand ces signaux seront en service.

Les limites du robots.txt

Audit GEO

Votre site est-il lisible par les IA ?

L'audit GEO commence par l'accès des robots, du robots.txt au pare-feu, puis le rendu des pages et leur indexation dans Google et Bing.

Voir l'offre d'audit GEO

Audit à 890 €, corrections faites par moi quand j'ai l'accès.

Questions fréquentes

Bloquer GPTBot me retire-t-il de ChatGPT ?
Pas des réponses qui s'appuient sur une recherche web. GPTBot sert à l'entraînement des modèles d'OpenAI. C'est OAI-SearchBot qui décide de votre présence dans les réponses de recherche de ChatGPT. Vous pouvez bloquer le premier et autoriser le second.
Bloquer Google-Extended me retire-t-il des AI Overviews ?
Non. Google écrit que Google-Extended n'a aucun effet sur l'inclusion dans la recherche Google, et sa page sur les fonctions d'IA de la recherche désigne Googlebot comme le contrôle des AI Overviews. En revanche, il sert aussi à ancrer les réponses de l'application Gemini, et le bloquer peut vous retirer de certaines de ses réponses.
Faut-il autoriser tous les robots des IA ?
Les robots de recherche et de consultation, oui, si vous voulez être cité. Pour les robots d'entraînement, c'est un choix. Les bloquer ne change rien aux citations, sauf Google-Extended pour l'application Gemini.
Pourquoi ChatGPT ne lit-il pas mon site alors que mon robots.txt est ouvert ?
Le plus souvent, l'hébergeur ou le CDN bloque le robot avant même qu'il lise le robots.txt, avec une erreur 403 ou une page de vérification. Les journaux du serveur le montrent. Vérifiez aussi que le texte de vos pages est présent dans le HTML, sans dépendre du JavaScript.

Sources (vérifiées le 15 novembre 2026)