Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/python-3.x/16.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 在单独使用http站点和https站点时,在meta中使用http代理和https代理的正确方法?_Python_Python 3.x_Web Scraping_Proxy_Scrapy - Fatal编程技术网

Python 在单独使用http站点和https站点时,在meta中使用http代理和https代理的正确方法?

Python 在单独使用http站点和https站点时,在meta中使用http代理和https代理的正确方法?,python,python-3.x,web-scraping,proxy,scrapy,Python,Python 3.x,Web Scraping,Proxy,Scrapy,在过去的几个小时里,我一直在努力寻找关于如何在meta['proxy']中分别使用http和https代理的具体指导。让我们考虑两个URL http://app1.nu.edu.bd/和https://www.yelp.com/我希望分别使用http代理和https代理,因为协议不同。对于这个例子,我们可以考虑使用两种类型的代理1。http代理-62.210.99.150:3838和2。https代理-173.212.202.65:80 现在,我试着如下所示: 使用http://app1.nu.

在过去的几个小时里,我一直在努力寻找关于如何在
meta['proxy']
中分别使用
http
https
代理的具体指导。让我们考虑两个URL <代码>http://app1.nu.edu.bd/和
https://www.yelp.com/
我希望分别使用
http
代理和
https
代理,因为协议不同。对于这个例子,我们可以考虑使用两种类型的代理1。http代理-
62.210.99.150:3838和2。https代理-
173.212.202.65:80

现在,我试着如下所示:

使用
http://app1.nu.edu.bd/

meta['proxy'] = 'http://173.212.202.65:80'
在进行
https://www.yelp.com/

meta['proxy'] = 'https://62.210.99.150:3838'
当单独使用
http
站点和
https
站点时,在meta中使用
http
代理和
https
代理的正确方法是什么


注意:在创建我上面的帖子之前,我遇到过几次有一个非常不同的问题。由于瓷砖有点相似,所以我想提前澄清一下。正确的方法是使用模块,如下所示:

import requests

PROXIES = {
 "http": 'http://173.212.202.65:80',
 "https": 'https://62.210.99.150:3838',
}

http_url = "http://app1.nu.edu.bd/"
https_url = "https://www.yelp.com/"

response = requests.get(https_url, proxies=PROXIES)

正确的方法是使用模块,如下所示:

import requests

PROXIES = {
 "http": 'http://173.212.202.65:80',
 "https": 'https://62.210.99.150:3838',
}

http_url = "http://app1.nu.edu.bd/"
https_url = "https://www.yelp.com/"

response = requests.get(https_url, proxies=PROXIES)

有几种不同的方法可以做到这一点(您可以使用中间件或使用
request['meta']
):


有几种不同的方法可以做到这一点(您可以使用中间件或使用
request['meta']
):