Python scrapy shell：我只看到蜘蛛打开了，然后我就有时间去看Zalando的页面了

当我在scrapy shell中跑步时：

fetch('https://www.google.nl')

然后我得到一个正常的反应：

2020-11-19 12:42:00 [scrapy.core.engine] INFO: Spider opened
2020-11-19 12:42:00 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.google.nl> (referer: None)

那么我只看到:

2020-11-19 12:46:06 [scrapy.core.engine] INFO: Spider opened

过了一会儿，我得到了一个暂停。

---

为什么这对Zalando pages不起作用？或者：我应该做些什么更改才能使其工作？

在请求的标题中包含一个用户代理，这对我来说很好：

from scrapy import Request
url='https://www.zalando.de/nike-sportswear-pant-jogginghose-ni121a09o-c11.html'
req = Request(url, headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0'
})
fetch(req)

---

可能是一个反机器人的措施

谢谢工作得很好：）我仍然在你的标题中添加了一个接受语言：{'User-Agent'：'Mozilla/5.0（Macintosh；Intel Mac OS X 10_15_7）AppleWebKit/537.36（KHTML，像Gecko）Chrome/86.0.4240.198 Safari/537.36'，'Accept Language'：'de}在得到有用的答案后，我意识到这个问题+答案是相关的：

from scrapy import Request
url='https://www.zalando.de/nike-sportswear-pant-jogginghose-ni121a09o-c11.html'
req = Request(url, headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0'
})
fetch(req)