使用selenium(python)打开多个窗口,而每个窗口都有一个唯一的经过身份验证的代理(付费代理)
我正在创建一个脚本,打开多个窗口,而每个窗口都使用一个唯一的经过身份验证的代理,我成功地做到了这一点,但使用免费代理,但在使用付费代理时遇到了麻烦 我使用此解决方案对我的代理进行身份验证(),但找不到使用此解决方案使其与我的代码相适应的方法使用selenium(python)打开多个窗口,而每个窗口都有一个唯一的经过身份验证的代理(付费代理),python,selenium,web-scraping,proxy,Python,Selenium,Web Scraping,Proxy,我正在创建一个脚本,打开多个窗口,而每个窗口都使用一个唯一的经过身份验证的代理,我成功地做到了这一点,但使用免费代理,但在使用付费代理时遇到了麻烦 我使用此解决方案对我的代理进行身份验证(),但找不到使用此解决方案使其与我的代码相适应的方法 import os import zipfile import time from selenium import webdriver PROXY_HOST = 'host' # rotating proxy PROXY_PORT = 'port' PR
import os
import zipfile
import time
from selenium import webdriver
PROXY_HOST = 'host' # rotating proxy
PROXY_PORT = 'port'
PROXY_USER = 'user'
PROXY_PASS = 'pass'
manifest_json = """
{
"version": "1.0.0",
"manifest_version": 2,
"name": "Chrome Proxy",
"permissions": [
"proxy",
"tabs",
"unlimitedStorage",
"storage",
"<all_urls>",
"webRequest",
"webRequestBlocking"
],
"background": {
"scripts": ["background.js"]
},
"minimum_chrome_version":"22.0.0"
}
"""
background_js = """
var config = {
mode: "fixed_servers",
rules: {
singleProxy: {
scheme: "http",
host: "%s",
port: parseInt(%s)
},
bypassList: ["localhost"]
}
};
chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});
function callbackFn(details) {
return {
authCredentials: {
username: "%s",
password: "%s"
}
};
}
chrome.webRequest.onAuthRequired.addListener(
callbackFn,
{urls: ["<all_urls>"]},
['blocking']
);
""" % (PROXY_HOST, PROXY_PORT, PROXY_USER, PROXY_PASS)
def get_chromedriver(use_proxy=False, user_agent=None):
path = os.path.dirname(os.path.abspath(__file__))
chrome_options = webdriver.ChromeOptions()
if use_proxy:
pluginfile = 'proxy_auth_plugin.zip'
with zipfile.ZipFile(pluginfile, 'w') as zp:
zp.writestr("manifest.json", manifest_json)
zp.writestr("background.js", background_js)
chrome_options.add_extension(pluginfile)
if user_agent:
chrome_options.add_argument('--user-agent=%s' % user_agent)
driver = webdriver.Chrome('yourpath',options=chrome_options)
return driver
def main():
driver = get_chromedriver(use_proxy=True)
#driver.get('https://www.google.com/search?q=my+ip+address')
driver.get('https://whatismyipaddress.com/')
main()
导入操作系统
进口拉链
导入时间
从selenium导入webdriver
PROXY_HOST='HOST'#旋转代理
代理服务器\端口='端口'
代理用户='USER'
PROXY_PASS='PASS'
manifest_json=“”
{
“版本”:“1.0.0”,
“清单版本”:2,
“名称”:“Chrome代理”,
“权限”:[
“代理”,
“标签”,
“无限制存储”,
“存储”,
"",
“网络请求”,
“webRequestBlocking”
],
“背景”:{
“脚本”:[“background.js”]
},
“最低chrome版本”:“22.0.0”
}
"""
背景_js=“”
变量配置={
模式:“固定服务器”,
规则:{
单一代理:{
方案:“http”,
主机:“%s”,
端口:parseInt(%s)
},
旁路列表:[“本地主机”]
}
};
chrome.proxy.settings.set({value:config,scope:“regular”},function(){});
函数callbackFn(详细信息){
返回{
认证证书:{
用户名:“%s”,
密码:“%s”
}
};
}
chrome.webRequest.onAuthRequired.addListener(
Callbackbon,
{URL:[“”]},
[“阻塞”]
);
“”“%(代理主机、代理端口、代理用户、代理通行证)
def get_chromedriver(使用_proxy=False,用户_agent=None):
path=os.path.dirname(os.path.abspath(_文件__))
chrome\u options=webdriver.ChromeOptions()
如果使用_代理:
pluginfile='proxy\u auth\u plugin.zip'
zipfile.zipfile(pluginfile,'w')作为zp:
writestr(“manifest.json”,manifest\u json)
zp.writestr(“background.js”,background_js)
chrome\u选项。添加\u扩展(pluginfile)
如果用户/代理:
chrome\u选项。添加参数('--用户代理=%s'%user\u代理)
driver=webdriver.Chrome('yourpath',options=Chrome\u options)
返回驱动器
def main():
driver=get\u chromedriver(使用\u proxy=True)
#司机,上车https://www.google.com/search?q=my+ip+地址')
司机,上车https://whatismyipaddress.com/')
main()
我用硒丝找到了解决方案
from seleniumwire import webdriver
proxy_host = ['host', 'host', 'host', 'host'] # rotating proxy
proxy_port = ['port', 'port', 'port', 'port']
proxy_username = ['username', 'username', 'username', 'username']
proxy_password = ['password', 'password', 'password', 'password']
def new(username,password,host,port):
options = {
'proxy': {
'http': 'http://%s:%s@%s:%s'%(username,password,host,port),
'https': 'http://%s:%s@%s:%s'%(username,password,host,port),
'no_proxy': 'localhost,127.0.0.1' # excludes
}
}
return options
for username, password, host, port in zip(proxy_username, proxy_password, proxy_host, proxy_port):
driver = webdriver.Chrome(executable_path="your path",seleniumwire_options=new(username, password, host, port))
driver.get('https://whatismyipaddress.com/')