我正在尝试用Scrapy刮一个网站。它通过“robots.txt”访问robots.txt文件；状态代码200“；但是"；555“；终端上_Scrapy

我正在尝试用Scrapy刮一个网站。它通过“robots.txt”访问robots.txt文件；状态代码200“；但是"；555“；终端上

scrapy

我正在尝试用Scrapy刮一个网站。它通过“robots.txt”访问robots.txt文件；状态代码200“；但是"；555“；终端上,scrapy,Scrapy,我正试图刮一个房地产网站。它显示状态代码200，但在终端中显示555。如何解决此问题？进入您的settings.py文件并添加此注释 ROBOTSTXT_-obe=True=>\ROBOTSTXT_-obe=True

我正试图刮一个房地产网站。它显示状态代码200，但在终端中显示555。

如何解决此问题？

进入您的settings.py文件并添加此注释
ROBOTSTXT_-obe=True=>\ROBOTSTXT_-obe=True