Python Scrapy:ROBOTSTXT_OBEY=True给出一个错误

在scrapy设置中设置ROBOTSTXT_OBEY=True时，我会出现以下错误：

TypeError:to_字节必须接收unicode、str或bytes对象，get list

我尝试了多个网站来查看robots.txt文件是否存在问题，但我在所有网站上都遇到了相同的错误。即使是谷歌

scrapy外壳https://www.google.com/ --set=“ROBOTSTXT\u OBEY=True”

---

我如何尊重robots.txt和使用scrapy爬行？

发现了问题。当设置USER\u AGENT时，我会得到错误。如果未设置用户代理，则ROBOTSTXT\u OBEY=True可以正常工作。

考虑在中打开功能请求，以在这种情况下请求更好的错误消息。

TypeError: to_bytes must receive a unicode, str or bytes object, got list