Python 搔痒中间件混乱
我正在使用以下代码将代理合并到我的爬虫程序中: 我的下载程序中间件的代码如下所示: 所有的工作都很好,但是我现在在我的spider类中设置了一个新函数,它用更新的替换来更新保存代理的文本文件(由上面的源代码引用) 我正在寻找一些关于我需要对中间件和/或源代码进行哪些更改的一般性建议,以使此代码在每次请求时“重新读取”文本文件,请?谢谢Python 搔痒中间件混乱,python,scrapy,middleware,Python,Scrapy,Middleware,我正在使用以下代码将代理合并到我的爬虫程序中: 我的下载程序中间件的代码如下所示: 所有的工作都很好,但是我现在在我的spider类中设置了一个新函数,它用更新的替换来更新保存代理的文本文件(由上面的源代码引用) 我正在寻找一些关于我需要对中间件和/或源代码进行哪些更改的一般性建议,以使此代码在每次请求时“重新读取”文本文件,请?谢谢 DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.retry.RetryMiddlewar
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.retry.RetryMiddleware': 90,
'scrapy_proxies.RandomProxy': 100,
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
}