Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/python-2.7/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 强制Scrapy计划程序执行请求_Python_Python 2.7_Scrapy_Python Requests - Fatal编程技术网
Fatal编程技术网
  • python/
  • Python 强制Scrapy计划程序执行请求

Python 强制Scrapy计划程序执行请求

python python-2.7 scrapy

Python 强制Scrapy计划程序执行请求,python,python-2.7,scrapy,python-requests,Python,Python 2.7,Scrapy,Python Requests,在我的spider中，返回了500个JSON对象。对于每个对象，我必须向该对象的网页发出请求，并从该网页中提取数据 在该项目通过管道之前，我必须从相应的网页中获取数据 我想我的问题是在创建新的scrapy请求时出现的。即使该请求的优先级高得离谱，它仍然没有解析它请求的前一个start\u URL，因此新请求只是在队列中等待，直到有一个并发请求的开放点 有没有办法强迫scrapy执行新的请求，阻止该项直到请求完成并删除页面，或者我应该违背调度程序的核心，只使用请求模块？您可以通过提供代码（或其相关

在我的spider中，返回了500个JSON对象。对于每个对象，我必须向该对象的网页发出请求，并从该网页中提取数据

在该项目通过管道之前，我必须从相应的网页中获取数据

我想我的问题是在创建新的scrapy
请求时出现的。即使该请求的
优先级
高得离谱，它仍然没有解析它请求的前一个
start\u URL
，因此新请求只是在队列中等待，直到有一个并发请求的开放点


有没有办法强迫scrapy执行新的请求，阻止该项直到请求完成并删除页面，或者我应该违背
调度程序的核心，只使用
请求
模块？
您可以通过提供代码（或其相关部分）使其更加具体和清晰到目前为止你有过吗？谢谢