Python 在单独使用http站点和https站点时,在meta中使用http代理和https代理的正确方法?
在过去的几个小时里,我一直在努力寻找关于如何在Python 在单独使用http站点和https站点时,在meta中使用http代理和https代理的正确方法?,python,python-3.x,web-scraping,proxy,scrapy,Python,Python 3.x,Web Scraping,Proxy,Scrapy,在过去的几个小时里,我一直在努力寻找关于如何在meta['proxy']中分别使用http和https代理的具体指导。让我们考虑两个URL http://app1.nu.edu.bd/和https://www.yelp.com/我希望分别使用http代理和https代理,因为协议不同。对于这个例子,我们可以考虑使用两种类型的代理1。http代理-62.210.99.150:3838和2。https代理-173.212.202.65:80 现在,我试着如下所示: 使用http://app1.nu.
meta['proxy']
中分别使用http
和https
代理的具体指导。让我们考虑两个URL <代码>http://app1.nu.edu.bd/和https://www.yelp.com/
我希望分别使用http
代理和https
代理,因为协议不同。对于这个例子,我们可以考虑使用两种类型的代理1。http代理-62.210.99.150:3838和2。https代理-173.212.202.65:80
现在,我试着如下所示:
使用http://app1.nu.edu.bd/
:
meta['proxy'] = 'http://173.212.202.65:80'
在进行https://www.yelp.com/
:
meta['proxy'] = 'https://62.210.99.150:3838'
当单独使用http
站点和https
站点时,在meta中使用http
代理和https
代理的正确方法是什么
注意:在创建我上面的帖子之前,我遇到过几次有一个非常不同的问题。由于瓷砖有点相似,所以我想提前澄清一下。正确的方法是使用模块,如下所示:
import requests
PROXIES = {
"http": 'http://173.212.202.65:80',
"https": 'https://62.210.99.150:3838',
}
http_url = "http://app1.nu.edu.bd/"
https_url = "https://www.yelp.com/"
response = requests.get(https_url, proxies=PROXIES)
正确的方法是使用模块,如下所示:
import requests
PROXIES = {
"http": 'http://173.212.202.65:80',
"https": 'https://62.210.99.150:3838',
}
http_url = "http://app1.nu.edu.bd/"
https_url = "https://www.yelp.com/"
response = requests.get(https_url, proxies=PROXIES)
有几种不同的方法可以做到这一点(您可以使用中间件或使用request['meta']
):
有几种不同的方法可以做到这一点(您可以使用中间件或使用request['meta']
):