Python 如何在scrapy中同时使用http和https代理？

我是新来的。我发现这是为了使用http代理，但我想同时使用http和https代理，因为当我爬网链接时，有http和https链接。如何使用http和https代理

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        request.meta['proxy'] = "http://YOUR_PROXY_IP:PORT"
        #like here request.meta['proxy'] = "https://YOUR_PROXY_IP:PORT"
        proxy_user_pass = "USERNAME:PASSWORD"
        # setup basic authentication for the proxy
        encoded_user_pass = base64.encodestring(proxy_user_pass)
        request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass

---

您可以将标准环境变量与以下组合使用：

该中间件通过设置请求对象的代理元值来设置用于请求的HTTP代理

与Python标准库模块urllib和urllib2一样，它遵循以下环境变量：

http_proxy
https_proxy
no_proxy

您还可以将每个请求的元密钥代理设置为如下值

---

您可以将标准环境变量与以下组合使用：

该中间件通过设置请求对象的代理元值来设置用于请求的HTTP代理

与Python标准库模块urllib和urllib2一样，它遵循以下环境变量：

http_proxy
https_proxy
no_proxy

您还可以将每个请求的元密钥代理设置为如下值

---

谢谢，但我还有100个代理。那么我该如何设置它们呢，请给出建议。在这种情况下，请查看请求URL并决定使用HTTP或HTTPS作为代理——然后从100+个可用选项中选择一个（或者如果所有选项都支持HTTPS，则在

reques.meta['proxy'中的
HTTP
之后添加
s
）

assignment。谢谢，但我还有100多个代理。因此，如何设置它们，请给出建议。在这种情况下，请查看请求URL并决定使用HTTP或HTTPS作为代理——然后从100多个可用代理中选择一个（或者如果所有代理都支持HTTPS，则在

reques.meta['proxy]中的
HTTP
之后添加
s
）

分配。