Ja, direkt unterhalb der Shop-Domain wurde eine robots.txt angelegt.
Die Datei robots.txt ist eine Textdatei, in der hinterlegt ist, welche Verzeichnisse von den Suchmaschinen gelesen werden dürfen und welche nicht.
Die robots.txt ist sehr wichtig für alle Crawler, welche als Erstes in der robots.txt suchen und diese auslesen. Wie eine Art Anleitung, in der steht, was Sie tun dürfen und was nicht.
In der robots.txt wird exakt festgelegt, welcher Crawler welche Verzeichnisse, Unterverzeichnisse oder einzelne Dateien durchsuchen darf bzw. welche für ihn gesperrt sind.
Beispiel
https://mydomain.com/robots.txt
In der „robots.txt“ wird unter anderem auf die „sitemap_index.xml“ weiterverwiesen.
Link
https://faq.unitedprintshopservices.com/faq/verfuegt-mein-partnershop-ueber-eine-xml-sitemap/