Sì, è stato creato un robots.txt direttamente sotto il dominio del negozio.
Il file robots.txt è un file di testo che contiene le directory che possono o non possono essere lette dai motori di ricerca.
Il robots.txt è molto importante per tutti i crawler, che per prima cosa cercano e leggono il robots.txt. È una sorta di manuale che dice cosa si può o non si può fare.
Il robots.txt specifica esattamente quale crawler è autorizzato a cercare in quali directory, sottodirectory o singoli file e quali sono bloccati.
Esempio
https://mydomain.com/robots.txt
Nel “robots.txt” si fa riferimento, tra l’altro, alla “sitemap_index.xml”.