Python 搔痒中间件混乱

Python 搔痒中间件混乱,python,scrapy,middleware,Python,Scrapy,Middleware,我正在使用以下代码将代理合并到我的爬虫程序中: 我的下载程序中间件的代码如下所示: 所有的工作都很好,但是我现在在我的spider类中设置了一个新函数,它用更新的替换来更新保存代理的文本文件(由上面的源代码引用) 我正在寻找一些关于我需要对中间件和/或源代码进行哪些更改的一般性建议,以使此代码在每次请求时“重新读取”文本文件,请?谢谢 DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.retry.RetryMiddlewar

我正在使用以下代码将代理合并到我的爬虫程序中:

我的下载程序中间件的代码如下所示:

所有的工作都很好,但是我现在在我的spider类中设置了一个新函数,它用更新的替换来更新保存代理的文本文件(由上面的源代码引用)

我正在寻找一些关于我需要对中间件和/或源代码进行哪些更改的一般性建议,以使此代码在每次请求时“重新读取”文本文件,请?谢谢

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 90,
    'scrapy_proxies.RandomProxy': 100,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
}