L'essentiel
Pour être cité par les IA, laissez passer leurs robots de recherche et de consultation : OAI-SearchBot et ChatGPT-User (OpenAI), Googlebot (AI Overviews et AI Mode), Claude-SearchBot et Claude-User (Anthropic), PerplexityBot, Bingbot (Copilot), meta-webindexer (Meta AI) et Applebot. Les robots d'entraînement (GPTBot, ClaudeBot, meta-externalagent, Applebot-Extended, MistralAI-Training, CCBot) peuvent être bloqués sans effet sur les citations. Google-Extended est un cas à part, sans effet sur la recherche Google mais utilisé aussi par l'application Gemini. Vérifiez enfin que votre hébergeur ou votre CDN ne bloque pas ces robots avant même le robots.txt.
Robots de recherche et robots d'entraînement
Les éditeurs d'IA séparent désormais deux usages de vos pages. Le premier sert à construire un index de recherche ou à ouvrir une page pendant une conversation, et c'est lui qui permet à l'assistant de vous citer. Le second collecte des textes pour entraîner les futurs modèles. Chaque usage a son robot, avec son propre nom, et le robots.txt permet de traiter chacun séparément.
Un éditeur peut donc refuser l'entraînement et rester cité. C'est le réglage que je pose chez les clients qui refusent l'entraînement, en traitant à part le cas de Google-Extended.
Le tableau des robots par éditeur
| Éditeur | Robot | Rôle | Si vous le bloquez |
|---|---|---|---|
| OpenAI | OAI-SearchBot | Index de recherche de ChatGPT | Plus de citation dans les réponses de recherche de ChatGPT |
ChatGPT-User | Ouvre une page à la demande d'un utilisateur | Peut empêcher ChatGPT d'ouvrir vos pages, mais OpenAI prévient que la règle peut ne pas s'appliquer | |
GPTBot | Entraînement des modèles | Vos contenus ne servent plus à l'entraînement, sans effet sur la recherche | |
Googlebot | Index de Google, dont AI Overviews et AI Mode | Vous sortez de Google, IA comprise | |
Google-Extended | Entraînement de Gemini et ancrage de ses réponses | Sans effet sur la recherche Google, mais retrait possible des réponses de l'application Gemini | |
| Anthropic | Claude-SearchBot | Index de recherche de Claude | Moins de visibilité dans les résultats de recherche de Claude |
Claude-User | Ouvre une page à la demande d'un utilisateur | Claude ne peut plus lire vos pages quand un utilisateur le demande | |
ClaudeBot | Entraînement des modèles | Vos futurs contenus sont exclus de l'entraînement | |
| Perplexity | PerplexityBot | Résultats de recherche de Perplexity, pas l'entraînement | Plus de citation dans Perplexity |
Perplexity-User | Ouvre une page à la demande d'un utilisateur | Effet incertain, Perplexity indique que ce robot ignore en général le robots.txt | |
| Microsoft | Bingbot | Index de Bing, dont Bing Webmaster Tools suit les citations dans Copilot | Vous sortez de Bing et des réponses de Copilot qui s'appuient sur le web |
| Meta | meta-webindexer | Recherche de Meta AI | Meta AI ne cite plus vos pages |
meta-externalagent | Entraînement et indexation directe | Vos contenus ne servent plus à l'entraînement | |
facebookexternalhit | Aperçus des liens partagés | Vos liens s'affichent sans titre ni image sur Facebook, Instagram et Messenger | |
| Mistral | MistralAI-Index | Index de recherche de Mistral, pas l'entraînement | Mistral ne trouve plus vos pages dans sa recherche |
MistralAI-User | Ouvre une page à la demande d'un utilisateur | Mistral ne peut plus lire vos pages quand un utilisateur le demande | |
MistralAI-Training | Entraînement des modèles | Vos contenus ne servent plus à l'entraînement | |
| Common Crawl | CCBot | Archive ouverte du web, très utilisée pour entraîner des modèles | Vos pages sortent des prochaines archives |
| Apple | Applebot | Recherche de Siri, Spotlight et Safari | Vous sortez de ces résultats |
Applebot-Extended | Ne visite rien, indique seulement si les pages déjà lues peuvent entraîner les modèles | Plus d'entraînement, vos pages restent dans les résultats |
OpenAI, Meta et Perplexity indiquent qu'une modification du robots.txt met jusqu'à 24 heures environ à être prise en compte (pour OpenAI, côté recherche). Pour les éditeurs qui ne publient pas de documentation sur leurs robots, seul un blocage côté serveur est fiable.
Le cas de Google-Extended
Google-Extended n'est pas un robot qui visite vos pages. C'est un nom à utiliser dans le robots.txt pour dire à Google ce qu'il peut faire des pages que Googlebot a déjà lues. Google écrit qu'il n'a aucun effet sur l'inclusion d'un site dans la recherche Google ni sur son classement, et sa page sur les fonctions d'IA de la recherche désigne Googlebot comme le contrôle des AI Overviews et de l'AI Mode.
Mais Google-Extended couvre deux usages, l'entraînement des futurs modèles Gemini et l'ancrage, c'est-à-dire la fourniture de contenus de l'index de Google au modèle au moment où il répond, dans l'application Gemini notamment. Le bloquer peut donc vous retirer de certaines réponses de Gemini. Je ne le bloque que si le client tient avant tout à protéger ses contenus et accepte cette perte.
Un robots.txt type
La configuration que j'applique à un site qui veut être cité par toutes les IA mais refuser l'entraînement tient en trois groupes, plus une option. Google-Extended est dans un groupe à part, en commentaire, à activer seulement si vous acceptez de perdre l'ancrage dans l'application Gemini.
# Recherche et consultation, autorisés
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: meta-webindexer
User-agent: MistralAI-Index
User-agent: MistralAI-User
Allow: /
# Entraînement, refusé
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: meta-externalagent
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: CCBot
Disallow: /
# Option, retire aussi l'ancrage dans l'application Gemini
# User-agent: Google-Extended
# Disallow: /
# Tous les autres robots, dont Googlebot, Bingbot et Applebot
User-agent: *
Allow: /
Sitemap: https://www.exemple.fr/sitemap.xml
Plusieurs lignes User-agent à la suite partagent les règles qui les suivent. Un robot nommé dans une section n'applique que cette section et ignore celle de *. Si votre groupe * contient des Disallow (administration, panier, recherche interne), répétez-les dans chaque groupe nommé, sinon les robots nommés ne les liront pas. Apple précise aussi qu'en l'absence de règle pour Applebot, son robot suit celles de Googlebot.
Le blocage qui n'est pas dans le robots.txt
Dans les audits que je fais, le blocage que je trouve le plus souvent vient de l'hébergeur ou du CDN, pas du robots.txt. Les protections anti-robots renvoient une erreur 403 ou une page de vérification à tout ce qui n'est pas un navigateur ou Googlebot. Le robots.txt autorise le robot, le serveur le refuse, et l'assistant ne lit jamais la page.
Pour le vérifier :
- cherchez dans les journaux du serveur les visites des robots listés plus haut, et leur code de réponse (les mêmes journaux servent à mesurer sa visibilité dans les IA) ;
- regardez les réglages anti-robots de votre CDN ou de votre hébergeur, et la liste des robots qu'ils laissent passer ;
- méfiez-vous d'un test qui imite le nom du robot, car beaucoup de pare-feu vérifient aussi l'adresse IP, que seuls les vrais robots ont. OpenAI, Anthropic et Perplexity publient les plages d'adresses de leurs robots.
Le signal commun de refus de l'entraînement
Le 30 octobre 2026, Google et Microsoft ont annoncé la prise en charge d'un jeton commun dans le robots.txt pour refuser l'entraînement, issu des travaux du groupe AIPREF de l'IETF. Microsoft le décrit avec la ligne User-Agent: __usage_ai-training suivie d'un Disallow. Google vise une prise en charge en 2027 et prévoit, si ce jeton refuse l'entraînement sans que Google-Extended soit nommé, de traiter le site comme s'il avait bloqué Google-Extended, donc aussi l'ancrage dans Gemini. Anthropic indique de son côté reconnaître ce signal depuis le 30 octobre 2026, avec un déploiement progressif sur ses services, une règle qui nomme ClaudeBot restant prioritaire sur le signal général.
Microsoft ajoute une préférence d'ancrage page par page, par la balise <meta name="Bingbot" content="ai-grounding:disallow"> ou l'en-tête X-Robots-Tag. Il appliquera ces préférences à partir du 1er février 2027, et ne lira plus NOARCHIVE et NOCACHE comme des préférences d'entraînement ou d'ancrage après le 1er mars 2027. Je mettrai cette page à jour quand ces signaux seront en service.
Les limites du robots.txt
- Les robots qui l'ignorent. Perplexity écrit que Perplexity-User, déclenché par un utilisateur, ignore en général le robots.txt, et Meta indique que meta-externalfetcher peut le contourner. OpenAI prévient que les règles peuvent ne pas s'appliquer à ChatGPT-User, pour la même raison. Seul un blocage côté serveur les arrête.
- Ce qui est déjà appris. Bloquer un robot d'entraînement vaut pour l'avenir. Anthropic parle de « futurs » contenus exclus des jeux de données.
- L'affichage dans Google. Pour limiter ce que Google reprend de vos pages, y compris dans ses fonctions d'IA, Google renvoie aux directives
nosnippet,data-nosnippet,max-snippetetnoindex, pas au robots.txt. - La recommandation elle-même. Un robot autorisé peut lire la page, il ne la recommande pas pour autant. La suite du travail est sur la page apparaître dans ChatGPT et les autres IA, et, pour une entreprise de proximité, sur la page GEO local.
Votre site est-il lisible par les IA ?
L'audit GEO commence par l'accès des robots, du robots.txt au pare-feu, puis le rendu des pages et leur indexation dans Google et Bing.
Audit à 890 €, corrections faites par moi quand j'ai l'accès.
Questions fréquentes
Sources (vérifiées le 15 novembre 2026)
- OpenAI, « Overview of OpenAI Crawlers »
https://developers.openai.com/api/docs/bots - Google Search Central, robots d'exploration courants, Google-Extended
https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers - Google Search Central, « AI features and your website »
https://developers.google.com/search/docs/appearance/ai-features - Anthropic, « Does Anthropic crawl data from the web, and how can site owners block the crawler? »
https://support.claude.com/en/articles/8896518 - Perplexity, « Perplexity Crawlers »
https://docs.perplexity.ai/guides/bots - Meta, « Meta Web Crawlers »
https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ - Mistral AI, robots d'exploration
https://docs.mistral.ai/robots - Common Crawl, CCBot
https://commoncrawl.org/ccbot - Google Search Central Blog, contrôle de l'entraînement par l'IA, 30 octobre 2026
https://developers.google.com/search/blog/2026/10/ai-training-control - Bing Search Blog, « Your content, your choice: clearer preferences for training and grounding », 30 octobre 2026
https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/ - Apple, « About Applebot »
https://support.apple.com/en-us/119829 - Bing Webmaster Blog, « Introducing AI Performance in Bing Webmaster Tools », 10 février 2026
https://blogs.bing.com/webmaster/2026/2/Introducing-AI-Performance-in-Bing-Webmaster-Tools-Public-Preview/