Bingbot

Bingbot fait le même travail que Googlebot : il découvre des adresses, les récupère, en extrait le contenu et alimente un index. Les différences se situent dans le détail de l'exécution, et ce sont ces détails qui expliquent qu'un site parfaitement indexé chez l'un puisse être absent chez l'autre.

Comment il explore

Bingbot suit le fichier robots.txt, respecte les directives de non-indexation et découvre les pages par les liens et par les plans de site déclarés. Jusqu'ici, rien ne le distingue.

Deux comportements lui sont propres. Il applique d'abord une fréquence de passage qu'un éditeur peut influencer directement depuis les outils pour webmasters, ce que Google ne propose plus depuis des années. Il prend ensuite en charge un protocole de notification qui inverse la logique habituelle, le site signalant lui-même ce qui a changé au lieu d'attendre le passage du robot.

Vérifier qu'il s'agit bien de lui

C'est une précaution qui a cessé d'être théorique. L'identifiant transmis par un visiteur automatisé se falsifie en une ligne de code, et de nombreux outils d'aspiration se présentent comme un robot de moteur pour contourner les restrictions.

Cette vérification sert deux usages. Elle permet d'écarter les faux robots dans l'analyse des journaux du serveur, et elle permet d'établir une liste d'autorisation fiable dans un dispositif de protection, sans ouvrir la porte à n'importe quel aspirateur qui se déclare Bingbot.

Pourquoi il se fait bloquer sans qu'on le sache

C'est la cause numéro un des situations où un site est bien présent sur Google et introuvable sur Bing. Elle n'a rien à voir avec le référencement.

Les pare-feux applicatifs et les services anti-attaque filtrent les visiteurs automatisés qu'ils ne reconnaissent pas. Personne n'ayant jamais voulu prendre le risque de bloquer Google, Googlebot figure dans toutes les listes d'exception livrées par défaut. Bingbot y arrive beaucoup plus rarement, et il faut l'ajouter à la main.

Le résultat est un site qui répond normalement à un navigateur et sert une page de vérification à Bingbot. Aucune décision n'a été prise en ce sens, personne n'est au courant, et le symptôme ne se voit que si on le cherche.

La différence avec Googlebot sur le JavaScript

Googlebot exécute le JavaScript de façon systématique, avec un délai de rendu. Bingbot le fait aussi, mais moins systématiquement et avec des limites plus marquées.

Un site dont le contenu principal n'existe qu'après exécution des scripts prend donc un risque bien plus élevé chez Bing que chez Google. Et si l'on élargit aux robots des moteurs génératifs, qui n'exécutent rien du tout, la conclusion devient franche. Servir le contenu dans la réponse initiale du serveur est la seule configuration qui fonctionne partout. Le sujet est traité en détail sur ma page JavaScript et SEO.

IndexNow, le protocole qui inverse la logique

Dans le fonctionnement classique, le robot passe quand il le décide et une page publiée attend son tour. IndexNow renverse cette relation. Le site envoie une notification au moment où une adresse est créée, modifiée ou supprimée, et les moteurs qui participent au protocole viennent chercher la page.

La mise en place tient en deux étapes. Une clé est déposée à la racine du site dans un fichier texte, ce qui prouve que vous en êtes bien responsable. Puis chaque changement déclenche un appel signalant l'adresse concernée. La plupart des CMS proposent cette fonction nativement ou par une extension, et il n'y a rien à développer.

L'intérêt est réel sur un site qui publie souvent, sur un catalogue dont les stocks bougent, ou sur un site d'annonces dont les pages expirent. Il est marginal sur un site vitrine qui change trois fois par an.

Ce que les outils de Bing montrent en plus

Les outils pour webmasters de Microsoft ont une interface moins soignée que celle de Google, et un avantage réel, celui d'afficher des informations que Google a cessé de fournir. Trois d'entre elles me servent régulièrement, y compris sur des dossiers où Bing n'est pas l'objectif.

Le contrôle de la fréquence d'exploration. Un réglage permet d'indiquer à quelles heures le robot peut passer plus ou moins souvent. Sur un hébergement modeste dont le temps de réponse se dégrade aux heures de pointe, c'est une soupape utile, et elle n'existe plus côté Google.

Les mots-clés de la concurrence. L'outil propose une comparaison avec des sites du même secteur, sur des données réelles et non estimées. La couverture est moindre que celle d'une suite payante, mais l'information est gratuite et elle provient d'un moteur, pas d'un panel.

Le rapport d'exploration détaillé. Il liste les codes de réponse rencontrés, les pages bloquées et les erreurs. Sur un site où la Search Console reste évasive, ce second point de vue lève régulièrement une ambiguïté, en particulier sur les problèmes d'accès.

Ce que je mets en place, et dans quel ordre

1. Déclarer le site. Les outils pour webmasters de Bing permettent d'importer directement la configuration depuis la Search Console, ce qui évite toute ressaisie et prend quelques minutes.
2. Vérifier l'accès. Une requête en se présentant comme Bingbot, et une lecture des journaux du serveur pour confirmer qu'il passe réellement. C'est là que je trouve la quasi-totalité des problèmes.
3. Contrôler le robots.txt. Certaines règles héritées visent explicitement des robots autres que Googlebot, souvent posées à une époque où l'on cherchait à économiser de la bande passante.
4. Activer IndexNow. Si le CMS le propose, c'est une case à cocher.
5. Regarder le rapport d'exploration. Une fois par trimestre suffit. On y voit les erreurs rencontrées, ce qui donne souvent des informations que Google ne remonte pas.

L'ensemble représente une heure de travail, une seule fois. Rapporté au risque d'être absent de tout un écosystème de recherche, c'est l'un des meilleurs rapports entre effort et couverture que je connaisse, et je le détaille dans ma page sur les autres moteurs de recherche.

Questions fréquentes