Scrapy 回答不准确。状态不是100%准确吗？

我正在使用

l.add\u value（'http\u status'，response.status）

捕获每个域的响应状态并将其存储在SQL数据库中，但某些域没有响应状态（null）。起初，我以为他们可能在阻止scrapy，但当我再次在这些域上运行scrapy时，我得到的状态是200。在我使用urllib执行第二次检查之前，我想在这里询问一下是否有人曾经经历过这种情况或有任何建议。

请求没有收到响应的原因有几个

1） DNS未及时找到它，即未解析（增加

DNS\u超时时间

）

2） 服务器花了一段时间进行响应（增加

下载\u超时时间

）

3） 如果您正在检查大于1Gb的大文件（增加

下载\u MAXSIZE

）

4） 您这边的Internet连接问题（DNS已解决，但之后您失去了连接）

5） web服务器暂时关闭