Fatal编程技术网
  • scrapy/
  • Scrapy 回答不准确。状态不是100%准确吗？

Scrapy 回答不准确。状态不是100%准确吗？

scrapy

Scrapy 回答不准确。状态不是100%准确吗？,scrapy,httpresponse,Scrapy,Httpresponse,我正在使用l.add\u value（'http\u status'，response.status）捕获每个域的响应状态并将其存储在SQL数据库中，但某些域没有响应状态（null）。起初，我以为他们可能在阻止scrapy，但当我再次在这些域上运行scrapy时，我得到的状态是200。在我使用urllib执行第二次检查之前，我想在这里询问一下是否有人曾经经历过这种情况或有任何建议。请求没有收到响应的原因有几个 1） DNS未及时找到它，即未解析（增加DNS\u超时时间） 2） 服务器花了一段时间

我正在使用
l.add\u value（'http\u status'，response.status）
捕获每个域的响应状态并将其存储在SQL数据库中，但某些域没有响应状态（null）。起初，我以为他们可能在阻止scrapy，但当我再次在这些域上运行scrapy时，我得到的状态是200。在我使用urllib执行第二次检查之前，我想在这里询问一下是否有人曾经经历过这种情况或有任何建议。

请求没有收到响应的原因有几个

1） DNS未及时找到它，即未解析（增加
DNS\u超时时间
）

2） 服务器花了一段时间进行响应（增加
下载\u超时时间
）

3） 如果您正在检查大于1Gb的大文件（增加
下载\u MAXSIZE
）

4） 您这边的Internet连接问题（DNS已解决，但之后您失去了连接）

5） web服务器暂时关闭