Proxy 旋转代理（STORM，SMART）在每个请求中不提供唯一的IP

如何确保在每个请求中获得新的ip？我尝试使用stormproxies和smartproxies，但它为会话提供的ip相同

但是，ip在每次运行时都是新的。但对于单个会话，ip是相同的

我的代码如下：

import json
import uuid
import scrapy
from scrapy.crawler import CrawlerProcess

class IpTest(scrapy.Spider):
    name = 'IP_test'
    previous_ip = ''
    count = 1
    ip_url = 'https://ifconfig.me/all.json'

    def start_requests(self,):
        yield scrapy.Request(
            self.ip_url,
            dont_filter=True,
            meta={
                'cookiejar': uuid.uuid4().hex,
                'proxy': MY_ROTATING_PROXY # either stormproxy or smartproxy
            }
        )

    def parse(self, response):
        ip_address = json.loads(response.text)['ip_addr']
        self.logger.info(f"IP: {ip_address}")
        if self.count < 10:
            self.count += 1
            yield from self.start_requests()


settings = {
    'DOWNLOAD_DELAY': 1,
    'CONCURRENT_REQUESTS': 1,
}

process = CrawlerProcess(settings)
process.crawl(IpTest)
process.start()

导入json
导入uuid
进口羊瘙痒
从scrapy.crawler导入crawler进程
IpTest类（刮痕蜘蛛）：
名称='IP_测试'
以前的ip=“”
计数=1
ip_url=https://ifconfig.me/all.json'
def start_请求（自身），包括：
请按我的要求(
self.ip_url，
Don_filter=True，
元={
'cookiejar'：uuid.uuid4（）.hex，
“代理”：我的代理（stormproxy或smartproxy）
}
)
def解析（自我，响应）：
ip_address=json.load（response.text）['ip_addr']
self.logger.info（f“IP:{IP_address}”）
如果self.count<10：
self.count+=1
从self.start_请求中获得的收益（）
设置={
“下载延迟”：1，
“并发_请求”：1，
}
进程=爬网进程（设置）
进程爬网（IpTest）
process.start（）

输出日志：

2020-12-27 21:15:52 [scrapy.core.engine] INFO: Spider opened
2020-12-27 21:15:52 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2020-12-27 21:15:52 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2020-12-27 21:15:55 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://ifconfig.me/all.json> (referer: None)
2020-12-27 21:15:55 [IP_test] INFO: IP: 190.239.69.94
2020-12-27 21:15:56 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://ifconfig.me/all.json> (referer: https://ifconfig.me/all.json)
2020-12-27 21:15:56 [IP_test] INFO: IP: 190.239.69.94
2020-12-27 21:15:57 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://ifconfig.me/all.json> (referer: https://ifconfig.me/all.json)
2020-12-27 21:15:57 [IP_test] INFO: IP: 190.239.69.94
2020-12-27 21:15:59 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://ifconfig.me/all.json> (referer: https://ifconfig.me/all.json)
2020-12-27 21:15:59 [IP_test] INFO: IP: 190.239.69.94
2020-12-27 21:16:00 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://ifconfig.me/all.json> (referer: https://ifconfig.me/all.json)
2020-12-27 21:16:00 [IP_test] INFO: IP: 190.239.69.94
2020-12-27 21:16:01 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://ifconfig.me/all.json> (referer: https://ifconfig.me/all.json)
2020-12-27 21:16:01 [IP_test] INFO: IP: 190.239.69.94
2020-12-27 21:16:03 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://ifconfig.me/all.json> (referer: https://ifconfig.me/all.json)
2020-12-27 21:16:03 [IP_test] INFO: IP: 190.239.69.94
2020-12-27 21:16:04 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://ifconfig.me/all.json> (referer: https://ifconfig.me/all.json)
2020-12-27 21:16:04 [IP_test] INFO: IP: 190.239.69.94
2020-12-27 21:16:05 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://ifconfig.me/all.json> (referer: https://ifconfig.me/all.json)
2020-12-27 21:16:06 [IP_test] INFO: IP: 190.239.69.94
2020-12-27 21:16:07 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://ifconfig.me/all.json> (referer: https://ifconfig.me/all.json)
2020-12-27 21:16:07 [IP_test] INFO: IP: 190.239.69.94
2020-12-27 21:16:07 [scrapy.core.engine] INFO: Closing spider (finished)

2020-12-27 21:15:52[刮屑核心引擎]信息：蜘蛛打开
2020-12-27 21:15:52[scrapy.extensions.logstats]信息：抓取0页（以0页/分钟的速度），抓取0项（以0项/分钟的速度）
2020-12-27 21:15:52[scrapy.extensions.telnet]信息：telnet控制台监听127.0.0.1:6023
2020-12-27 21:15:55[刮屑核心引擎]调试：爬网（200）（参考：无）
2020-12-27 21:15:55[IP_测试]信息：IP:190.239.69.94
2020-12-27 21:15:56[刮屑核心引擎]调试：爬网（200）（参考：https://ifconfig.me/all.json)
2020-12-27 21:15:56[IP_测试]信息：IP:190.239.69.94
2020-12-27 21:15:57[刮屑核心引擎]调试：爬网（200）（参考：https://ifconfig.me/all.json)
2020-12-27 21:15:57[IP_测试]信息：IP:190.239.69.94
2020-12-27 21:15:59[刮屑核心引擎]调试：爬网（200）（参考：https://ifconfig.me/all.json)
2020-12-27 21:15:59[IP_测试]信息：IP:190.239.69.94
2020-12-27 21:16:00[刮屑核心引擎]调试：爬网（200）（参考：https://ifconfig.me/all.json)
2020-12-27 21:16:00[IP_测试]信息：IP:190.239.69.94
2020-12-27 21:16:01[刮屑核心引擎]调试：爬网（200）（参考：https://ifconfig.me/all.json)
2020-12-27 21:16:01[IP_测试]信息：IP:190.239.69.94
2020-12-27 21:16:03[刮屑核心引擎]调试：爬网（200）（参考：https://ifconfig.me/all.json)
2020-12-27 21:16:03[IP_测试]信息：IP:190.239.69.94
2020-12-27 21:16:04[刮屑核心引擎]调试：爬网（200）（参考：https://ifconfig.me/all.json)
2020-12-27 21:16:04[IP_测试]信息：IP:190.239.69.94
2020-12-27 21:16:05[刮屑核心引擎]调试：爬网（200）（参考：https://ifconfig.me/all.json)
2020-12-27 21:16:06[IP_测试]信息：IP:190.239.69.94
2020-12-27 21:16:07[刮屑核心引擎]调试：爬网（200）（参考：https://ifconfig.me/all.json)
2020-12-27 21:16:07[IP_测试]信息：IP:190.239.69.94
2020-12-27 21:16:07[刮屑堆芯发动机]信息：关闭卡盘（完成）

我做错了什么？

---

我甚至尝试禁用cookies（

cookies\u ENABLED=False

），从request.meta中删除cookiejar。但是运气不好。

你在哪里轮换我的代理？您似乎总是对所有请求使用相同的变量。请参阅@Gallaecio

MY_Rotation\u PROXY

是一个已经执行此任务的代理提供程序。您熟悉stormproxies或smartproxies吗？如果没有，请检查一下。仅供参考，我已经尝试了

scrapy旋转代理

。基本上，这只是一个中间件，它最终将在请求中设置代理。您是否检查了

IP

是您的还是代理的？如果是后者，请联系您的智能代理提供商，可能它没有那么智能：）。您在哪里旋转

MY\u ROTATING\u proxy

？您似乎总是对所有请求使用相同的变量。请参阅@Gallaecio

MY_Rotation\u PROXY

是一个已经执行此任务的代理提供程序。您熟悉stormproxies或smartproxies吗？如果没有，请检查一下。仅供参考，我已经尝试了

scrapy旋转代理

。基本上，这只是一个中间件，它最终将在请求中设置代理。您是否检查了

IP

是您的还是代理的？如果是后者，请联系您的智能代理提供商，可能它没有那么智能：）。