Ce qu'il faut retenir
Anthropic exploite trois robots distincts : ClaudeBot pour l'entraînement, Claude-User pour les récupérations déclenchées par un utilisateur, Claude-SearchBot pour l'indexation de recherche. Ils se déclarent séparément dans le robots.txt, ce qui permet de refuser l'entraînement sans se couper des citations. Aucun des trois n'exécute le JavaScript, si bien qu'un contenu affiché après exécution des scripts leur reste invisible.
Claude est un assistant conversationnel édité par Anthropic. Comme les autres, il peut consulter le web pour répondre, et citer ses sources. Du point de vue d'un éditeur de site, sa politique d'exploration le distingue nettement des autres. Là où la plupart se contentent d'un seul robot, Anthropic en publie trois, avec des usages explicitement séparés.
Les trois robots d'Anthropic
| Robot | Ce qu'il fait | Ce que ça implique pour vous |
|---|---|---|
| ClaudeBot | Collecte du contenu web pour l'entraînement et la sécurité des modèles | C'est celui qu'on bloque si l'on refuse que son contenu serve à l'apprentissage |
| Claude-User | Récupère une page quand un utilisateur demande explicitement une recherche | Le bloquer empêche un utilisateur qui vous cherche d'obtenir votre page |
| Claude-SearchBot | Parcourt le web pour améliorer la qualité des résultats de recherche | Le bloquer revient à sortir de l'index de citation |
Cette séparation change complètement la nature de l'arbitrage. Ailleurs, on accepte l'entraînement pour avoir une chance d'être cité, ou on refuse les deux d'un coup. Ici, les deux décisions se prennent séparément.
Bloquer ClaudeBot, laisser passer les deux autres. C'est la configuration que je recommande sur la plupart des dossiers. Vous refusez que votre contenu alimente l'entraînement, et vous restez accessible quand quelqu'un cherche une réponse que vous détenez. Sur une entreprise qui vend une prestation, l'entraînement ne rapporte rien de commercialisable, là où une citation vaut une mention devant un prospect en train de se renseigner.
La déclaration se fait dans le robots.txt, avec une section par robot. Anthropic précise que la modification de ce fichier est la méthode recommandée, plutôt qu'un blocage par adresse, et publie par ailleurs la liste de ses plages d'adresses pour les éditeurs qui souhaitent vérifier l'origine réelle des visites.
Ce que Claude voit de votre site
Peu d'équipes techniques connaissent ce point, et c'est pourtant lui qui décide de tout le reste.
Les robots d'Anthropic récupèrent le HTML renvoyé par le serveur, en extraient ce qu'ils y trouvent, et n'y reviennent pas. Ils n'exécutent pas le JavaScript et n'attendent aucun rendu. Les mesures publiées en 2026 le montrent sans ambiguïté, ClaudeBot téléchargeant des fichiers de script dans environ 23,8 % de ses requêtes sans jamais les exécuter.
Une application dont le contenu s'affiche après exécution des scripts est donc invisible pour Claude, même si elle se classe parfaitement sur Google, qui lui exécute le JavaScript. C'est la situation que j'appelle dissociation de visibilité, et je la détaille sur ma page JavaScript et SEO.
Ce qui fait qu'un passage est repris
Un assistant ne cite pas une page, il cite un passage. Cette distinction commande la façon d'écrire, et elle explique pourquoi certaines pages excellentes ne sont jamais reprises.
- Écrire des affirmations autonomes. Un paragraphe repris doit tenir hors de son contexte. « Comme nous l'avons vu, c'est souvent le cas » n'est pas citable. « Le préavis légal de résiliation ne peut pas dépasser dix jours » l'est.
- Dater et sourcer les chiffres. Un modèle qui hésite entre deux sources retient celle qui porte une date et une origine. C'est vrai pour lui comme pour un lecteur.
- Nommer les entités. Le nom de l'entreprise, du produit, de la ville, plutôt que « notre solution » ou « la région ». Le rapprochement avec ce que le modèle sait déjà passe par ces noms.
- Structurer visiblement. Titres explicites, tableaux, listes. Un contenu bien découpé est plus facile à extraire par fragments.
- Répondre à la question posée dès le début. Une réponse enfouie au sixième paragraphe a peu de chances d'être retenue.
Ces cinq points ne sont pas propres à Claude. Ils valent pour l'ensemble des moteurs génératifs et améliorent aussi la lecture humaine, ce qui fait tout leur intérêt. Je les développe sur ma page consacrée au GEO.
Mesurer sa présence, faute d'outil
Il n'existe pas d'équivalent de la Search Console pour les assistants. Deux méthodes de substitution, toutes deux imparfaites.
Le trafic referral. Les visites venues d'une réponse citée arrivent sous le domaine de la plateforme dans votre outil de mesure. Les volumes sont modestes, mais la tendance et la composition sont lisibles, et le comportement de ces visiteurs mérite un examen séparé. La méthode est décrite sur ma page consacrée au trafic referral.
L'interrogation directe. On dresse une liste de vingt questions que vos clients posent réellement, on les pose à intervalles réguliers, on note qui est cité et sur quoi. C'est artisanal, cela prend une heure par trimestre, et c'est aujourd'hui la seule mesure directe disponible.
La seconde méthode demande une précaution, car les réponses d'un assistant varient d'une session à l'autre sur une même question. Une seule interrogation ne prouve rien. Il faut répéter et compter les occurrences, comme on le ferait pour un sondage.
Écrire les règles sans se tromper de robot
La déclaration se fait par section, une par robot, et l'ordre des règles n'a aucune importance. Deux pièges reviennent, et tous deux produisent l'inverse de l'effet recherché.
Le blocage global par joker. Une règle qui vise tout ce qui ressemble à un robot d'intelligence artificielle attrape aussi ceux qui vous citent. On croit protéger son contenu, on se retire des réponses. La granularité offerte par Anthropic n'a d'intérêt que si on l'utilise robot par robot.
La confusion entre robots.txt et protection applicative. Un robots.txt permissif ne sert à rien si un pare-feu bloque le visiteur en amont. J'ai vu plusieurs sites dont le fichier autorisait explicitement tous les robots, et dont aucun ne parvenait à charger une page, arrêté avant même de lire le fichier. Le contrôle décisif consiste à interroger le site en se présentant avec l'identifiant du robot, puis à vérifier la réponse obtenue.
Gardez enfin en tête qu'une modification de robots.txt n'a aucun effet rétroactif. Ce qui a déjà été récupéré l'a été, et débloquer aujourd'hui ne fait pas revenir le robot immédiatement. Comptez plusieurs semaines avant de juger d'un changement.
La place réelle de Claude dans le paysage
Claude occupe une place plus étroite que d'autres assistants dans les usages grand public, et le trafic qu'il renvoie s'en ressent. Autant le dire avant qu'un budget soit arbitré là-dessus.
Deux raisons de ne pas l'écarter pour autant. Son public penche nettement vers les usages professionnels et techniques, si bien que sur un marché de logiciel, de conseil ou d'ingénierie, sa part dans les recherches de vos prospects dépasse son poids général. Et le travail à faire pour y être cité est exactement le même que pour les autres plateformes, ce qui dispense de tout arbitrage puisqu'on le fait une fois pour toutes.
Questions fréquentes
Sources
- Anthropic, « Does Anthropic crawl data from the web, and how can site owners block the crawler », rôles de ClaudeBot, Claude-User et Claude-SearchBot
https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler - Anthropic, liste publique des plages d'adresses de ses robots
https://claude.com/crawling/bots.json - Analyses publiées en 2026 sur l'exécution du JavaScript par les robots des moteurs génératifs, taux de téléchargement de scripts de ClaudeBot. Consulté le 27 août 2026.