Python Scrapy:设置条件设置.py
我想应用特定设置并仅在存在文件时下载\u中间件(代理)。只有当带有代理列表的.txt存在时,spider才应该使用代理运行,否则,它应该使用默认IP和端口在没有代理的情况下运行 我尝试了以下方法,但对我无效: 设置.py 有什么解决办法吗Python Scrapy:设置条件设置.py,python,scrapy,settings,conditional,Python,Scrapy,Settings,Conditional,我想应用特定设置并仅在存在文件时下载\u中间件(代理)。只有当带有代理列表的.txt存在时,spider才应该使用代理运行,否则,它应该使用默认IP和端口在没有代理的情况下运行 我尝试了以下方法,但对我无效: 设置.py 有什么解决办法吗 谢谢你们 您应该列出的代码。其他代码段中是否有错误?你说得对!问题不是从那里来的。谢谢! import os.path if os.path.isfile("../proxies.txt"): BOT_NAME = 'whatever'
谢谢你们 您应该列出的代码。其他代码段中是否有错误?你说得对!问题不是从那里来的。谢谢!
import os.path
if os.path.isfile("../proxies.txt"):
BOT_NAME = 'whatever'
SPIDER_MODULES = ['whatever.spiders']
NEWSPIDER_MODULE = 'whatever.spiders'
RETRY_ENABLED = False
REDIRECT_ENABLED = False
DOWNLOAD_TIMEOUT = 15
COOKIES_ENABLED = False
LOG_ENABLED = True
DOWNLOADER_MIDDLEWARES = {
'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110,
'whatever.middlewares.ProxyMiddleware': 100
}
else:
BOT_NAME = 'whatever'
SPIDER_MODULES = ['whatever.spiders']
NEWSPIDER_MODULE = 'whatever.spiders'
DOWNLOADER_MIDDLEWARES = {
}