Image 为什么scrapy为可用的图像提供404？

这是我添加到image_url字段的图像示例。 然而，我得到了这个警告，图像没有上传

[zara_com]警告：文件（代码：404）：从下载图像时出错http://static.zara.net/photos//2014/I/0/2/p/5875/309/800/2/w/1920/5875309800_1_1_1.jpg>提及

虽然像这样的图像： 正常上传

---

有什么问题吗？我应该检查什么

据我所知，他们似乎在过滤使用默认scrapy用户代理发出的请求：

'User-Agent': 'Scrapy/0.24.2 (+http://scrapy.org)'

当我在项目的settings.py中更改USER_AGENT设置时，它开始在所有请求中返回200。奇怪的是，在此之前，它甚至在图像上返回了404，你说它是正常返回的

另外，如果他们不允许的话，从网站上抓取内容不是很好，但这并不是说他们在robots.txt中不允许。不过，您可能应该启用RobotsTxtMiddleware和AutoThrottle扩展，以确保公平地玩游戏