Proxy 如何在Scrapy中使用带有密码的代理列表?
我需要使用不同的代理来避免被禁止 我读了又读 我将我的代理放入Proxy 如何在Scrapy中使用带有密码的代理列表?,proxy,scrapy,Proxy,Scrapy,我需要使用不同的代理来避免被禁止 我读了又读 我将我的代理放入proxylist.txt http://xx.xx.xxx.xxx:port http://xxx.xxx.xx.xxx:port http://xx.xx.xxx.xxx:port http://xxx.xxx.xx.xxx:port 我在自定义设置中设置了它 class MyClass(scrapy.Spider): reload(sys) sys.setdefaultencoding('utf8')
proxylist.txt
http://xx.xx.xxx.xxx:port
http://xxx.xxx.xx.xxx:port
http://xx.xx.xxx.xxx:port
http://xxx.xxx.xx.xxx:port
我在自定义设置中设置了它
class MyClass(scrapy.Spider):
reload(sys)
sys.setdefaultencoding('utf8')
start_time = time.time()
name = 'mySpider'
custom_settings = {
'ROBOTSTXT_OBEY' : 'False',
'RETRY_TIMES' : 10,
'PROXY_LIST' : 'proxylist.txt',
'PROXY_MODE' : 0,
'DOWNLOADER_MIDDLEWARES' : {
'scrapy.downloadermiddlewares.retry.RetryMiddleware': 90,
'scrapy_proxies.RandomProxy': 100,
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
'scrapy_crawlera.CrawleraMiddleware': 600,
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
'random_useragent.RandomUserAgentMiddleware': 400
},
}
当我的代理没有密码时,此版本工作
现在我有了每个代理的密码,如何更改它以使用密码进行工作?我回答自己的问题 我使用它,它可以工作:
http://USERNAME:PASSWORD@PROXYIP:PROXYPORT