
Définition de Allow:
Le fichier robots.txt contient diverses directives à l’intention des crawlers du web. Allow est l’une de ces directives. Elle autorise l’exploration d’un site en entier ou partiellement par des robots comme Googlebot et Bingbot. Une syntaxe simple avec Allow: Pour indiquer les pages à crawler sur un site, Allow est suivi du début de leur URL ou d’une règle, comme suit : Allow: [path]. Pour que les instructions soient plus précises, il est fréquent d’utiliser simultanément la directive Disallow. Voici quelques exemples. Allow: / indique que tout le site peut être exploré sans limitation. Pour interdire l’exploration sur tout le site, mais l’autoriser sur le répertoire https://www.monsite.fr/blog par exemple, on mettra : Disallow: / Allow: /blog Pour interdire l’exploration du répertoire Blog, mais autoriser le crawl d’un de ses sous-répertoires (« finance » par exemple), on écrira dans le fichier robots.txt ce qui suit : Disallow: blog Allow: blog/finance Bien que l’utilisation de l’instruction Allow soit assez répandue, elle est sensible et à utiliser avec précaution. En…