Scrapy Redis：在不等待空闲信号的情况下获取下一个_请求
我使用scrapy框架进行api调用（广泛爬网），并使用scrapy redis在分布式网络中运行它。我从Redis获取起始URL，然后使用中间件发出后续请求。任务的响应时间（初始请求+一组后续请求）因API参数而异 因为Scrapy Redis：在不等待空闲信号的情况下获取下一个_请求,scrapy,Scrapy,我使用scrapy框架进行api调用（广泛爬网），并使用scrapy redis在分布式网络中运行它。我从Redis获取起始URL，然后使用中间件发出后续请求。任务的响应时间（初始请求+一组后续请求）因API参数而异 因为scrapy redis中的爬行器依赖爬行器空闲信号来获取起始URL。我无法利用所有资源，因为它等待批处理请求结束（批处理大小=100） 如何调整scrapy redis，使其在任务结束后立即获取开始URL。我试着用redis batch size=1运行多个进程，但它没有解决
scrapy redis