Sí, se ha creado un robots.txt directamente debajo del dominio de la tienda.
El archivo robots.txt es un archivo de texto que contiene qué directorios pueden y no pueden ser leídos por los motores de búsqueda.
El robots.txt es muy importante para todos los rastreadores, que primero buscan y leen el robots.txt. Es como una especie de manual que dice lo que se puede y lo que no se puede hacer.
El robots.txt especifica exactamente a qué rastreador se le permite buscar en qué directorios, subdirectorios o archivos individuales y cuáles están bloqueados para ello.
Ejemplo
https://mydomain.com/robots.txt
En el «robots.txt» hay una referencia, entre otras cosas, al «sitemap_index.xml».