Scrapy 如何检测amazon站点地图

我正试图从amazon.com上搜刮一些产品，但我在它的robots.txt中找不到

我试过了

amazon.com/sitemap.xml
amazon.com/sitemap.xml.gz
amazon.com/sitemap1.xml.gz
amazon.com/sitemap1.xml

一切都没有结果

我也试过像这样的站点地图检测器

https://seositecheckup.com/tools/sitemap-test

结果显示亚马逊没有网站地图。 这是真的吗？或者我没有正确的方法。

看看，你会在底部看到一个站点地图链接，访问被拒绝。 此资源可能只有特定于机器人的用户代理才能访问，IP…

请看，您将在底部看到一个站点地图链接，访问被拒绝。

---

此资源只能由特定于机器人的用户代理访问，IP…

See@Gallaecio我阅读了这个问题的每个答案，但没有帮助找出如何找到亚马逊的网站地图。那么他们很可能没有网站地图。那么像谷歌和必应这样的搜索引擎如何对网站进行爬网呢？他们要么使用通用爬网，即进入主页，递归地跟踪所有链接，要么他们有自己的，该网站的专有爬网实现。请看@Gallaecio我阅读了该问题的所有答案，但没有帮助找出如何找到亚马逊的网站地图。那么他们很可能没有。那么像谷歌和必应这样的搜索引擎如何爬网该网站呢？他们要么使用通用爬网，即转到主页并跟踪所有链接递归地，或者他们有自己的、专有的站点爬网实现。