Définition de Allow:

Le fichier robots.txt contient diverses directives à l’intention des crawlers du web. Allow est l’une de ces directives. Elle autorise l’exploration d’un site en entier ou partiellement par des robots comme Googlebot et Bingbot.
Une syntaxe simple avec Allow:
Pour indiquer les pages à crawler sur un site, Allow est suivi du début de leur URL ou d’une règle, comme suit : Allow: [path]. Pour que les instructions soient plus précises, il est fréquent d’utiliser simultanément la directive Disallow. Voici quelques exemples.
Allow: / indique que tout le site peut être exploré sans limitation.
Pour interdire l’exploration sur tout le site, mais l’autoriser sur le répertoire https://www.monsite.fr/blog par exemple, on mettra :
Disallow: /
Allow: /blog
Pour interdire l’exploration du répertoire Blog, mais autoriser le crawl d’un de ses sous-répertoires (« finance » par exemple), on écrira dans le fichier robots.txt ce qui suit :
Disallow: blog
Allow: blog/finance
Bien que l’utilisation de l’instruction Allow soit assez répandue, elle est sensible et à utiliser avec précaution. En effet, bien que les moteurs de recherche principaux comme Google et Bing interprètent bien la directive, elle n’est pas parfaitement comprise par certains moteurs exotiques. Ce facteur est à prendre en compte si vous voulez tourner votre activité à l’international vers des régions où Google n’a pas le monopole.
De plus, lorsque vous choisissez d’insérer des jokers comme * et $, il faut les utiliser avec parcimonie. Ils peuvent rendre complexe l’interprétation des règles d’exploration et causer des erreurs de crawl. Faites donc appel à des professionnels du web si vous voulez insérer la directive Allow dans un fichier robots.txt.