Qu'est-ce que Yandex et pourquoi son bot existe
Yandex est le moteur de recherche dominant en Russie, avec une part de marché supérieure à 60 % dans ce pays. Il est également présent en Biélorussie, au Kazakhstan et dans d'autres pays d'ancienne Union soviétique. Contrairement à ce que l'on pourrait croire, Yandex n'est pas une simple copie de Google : il dispose de ses propres algorithmes, de ses propres critères de qualité et d'une interface adaptée aux spécificités linguistiques du russe.
Yandexbot est l'agent d'exploration qui permet à Yandex de découvrir, lire et indexer les pages web. Son fonctionnement est similaire à celui de Googlebot : il suit les liens, lit le contenu des pages et transmet les données au moteur pour indexation.
Différences entre Yandexbot et Googlebot
| Caractéristique | Yandexbot | Googlebot |
|---|---|---|
| User-agent principal | Yandex / YandexBot |
Googlebot |
| Plages IP déclarées | Publiées par Yandex (plages 5.255.x.x, 77.88.x.x, 87.250.x.x) | Publiées par Google |
| Moteur associé | Yandex Search | Google Search |
| Fréquence de crawl | Plus espacée sur les sites non russophones | Variable selon l'autorité du domaine |
| Respect du robots.txt | Oui, conforme au standard | Oui, conforme au standard |
Il existe plusieurs variantes du bot Yandex selon l'usage : YandexImages pour les images, YandexVideo pour les vidéos, YandexNews pour les actualités. Tous respectent les directives du fichier sitemap et du robots.txt.
Comment gérer Yandexbot dans robots.txt
Pour la grande majorité des sites francophones, Yandexbot n'a pas d'impact direct sur le trafic organique. Il est inutile de le bloquer sauf dans des cas spécifiques. Voici les configurations courantes :
- Laisser Yandexbot accéder librement : option par défaut, recommandée si vous ne ciblez pas le marché russe mais ne voulez pas bloquer un robot légitime.
- Bloquer Yandexbot entièrement : possible via
User-agent: Yandex / Disallow: /dans le robots.txt. Utile si vous constatez une consommation excessive de bande passante ou souhaitez limiter l'indexation hors Google. - Bloquer uniquement certaines sections : même logique que pour Googlebot, en utilisant
User-agent: Yandexsuivi des directivesDisallowspécifiques.
Exemple de règle spécifique pour Yandexbot dans un fichier robots.txt :
User-agent: Yandex
Disallow: /admin/
Disallow: /panier/
Allow: /Si Yandexbot apparaît dans vos logs serveur avec une fréquence anormalement élevée, vérifiez que l'IP source correspond bien aux plages déclarées par Yandex. Un robot qui se présente comme Yandexbot sans provenir de ces plages est probablement un scraper à bloquer au niveau du pare-feu, pas dans le robots.txt.
Pour la grande majorité des projets SEO en France, l'effort sur Yandexbot est minimal. Ce qui compte c'est d'abord bien gérer l'indexation Google, puis éventuellement Bing, avant de s'intéresser à Yandex.