Oui, un fichier robots.txt a été créé directement sous le domaine de la boutique.
Le fichier robots.txt est un fichier texte qui indique quels répertoires peuvent ou ne peuvent pas être lus par les moteurs de recherche.
Le fichier robots.txt est très important pour tous les robots d’indexation, qui recherchent et lisent d’abord le fichier robots.txt. Il s’agit d’une sorte de manuel qui indique ce que vous pouvez faire et ce que vous ne pouvez pas faire.
Le fichier robots.txt spécifie exactement quels robots sont autorisés à rechercher quels répertoires, sous-répertoires ou fichiers individuels et lesquels sont bloqués.
Exemple
https://mydomain.com/robots.txt
Dans le fichier « robots.txt », il est fait référence, entre autres, au fichier « sitemap_index.xml ».