Python 带TOR的刮擦（窗口）

我用几个蜘蛛创建了一个Scrapy项目来抓取一些网站。现在我想用TOR来：

对爬网服务器隐藏我的ip

将我的请求关联到不同的IP，模拟来自不同用户的访问

我读过一些关于这方面的信息，例如： ,

这些链接的答案对我没有帮助。我应该采取什么步骤使Scrapy与TOR正常工作

编辑1：

---

考虑到答案1，我开始安装TOR。在使用Windows时，我下载了TOR专家包（）并阅读了关于如何将TOR配置为中继（）的章节。不幸的是，关于如何在Windows上执行此操作的信息很少或几乎没有。如果我解压缩下载的存档文件并运行文件Tor\Tor.exe，则不会发生任何事情。但是，我可以在任务管理器中看到一个新流程被实例化。我不知道从这里开始的最佳方式是什么。

这里有详细的分步说明

基本步骤包括：

安装Tor和Polipo（对于linux，这可能需要添加存储库）

将Polipo配置为使用SOCK连接与TOR对话（请参阅上面的链接）

创建一个自定义中间件，将tor用作http代理，并随机更改scrapy用户代理

要抑制上述示例中的折旧警告，请编写

'scrapy.downloadermiddleware.useragent.UserAgentMiddleware'：无，

而不是

'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware'：无，

---

你的szenario是什么？你想过租用代理服务器吗？

经过大量研究，我找到了一种方法来设置我的Scrapy项目，以便在Windows操作系统上使用TOR：

下载适用于Windows的TOR Expert Bundle（1）并将文件解压缩到文件夹（例如\TOR-win32-0.2.6.10）

最近TOR的Windows版本没有图形用户界面（2）。可能只能通过配置文件和cmd命令设置TOR，但对我来说，最好的选择是使用Vidalia。下载（3）并将文件解压缩到文件夹（例如vidalia-standalone-0.2.21-win32）。运行“启动Vidalia.exe”并转到“设置”。在“常规”选项卡上，将Vidalia指向TOR（\TOR-win32-0.2.6.10\TOR\TOR.exe）

检查TORC文件的“高级”选项卡和“Tor配置文件”部分。我已配置了以下端口：

控制端口9151 袜子运动9050

单击Vidalia控制面板UI上的开始Tor。经过一些处理后，您应该查看状态消息“已连接到Tor网络！”

下载Polipo代理（4）并将文件解压缩到文件夹（例如Polipo-1.1.0-win32）。在链接5上阅读有关此代理的信息

编辑文件config.sample并向其添加下一行（例如，在文件开头）：

socksParentProxy=“localhost:9050” SocksProxy类型=socks5 diskCacheRoot=“”

通过cmd启动Polipo。转到解压缩文件的文件夹，然后输入下一个命令“polipo.exe-c config.sample”

现在你有了波利波和托尔。Polipo将使用SOCKS协议通过端口9050将任何请求重定向到TOR。Polipo将通过端口8123接收任何重定向HTTP请求

现在您可以学习教程“在Ubuntu上更新Scrapy项目”（6）的其余部分。继续本教程介绍如何测试TOR/Polipo通信的步骤

链接：

---

你已经取得了什么成就？你有什么问题？请编辑您的问题，并向我们解释这些问题，以便我们能够提供帮助。github上的这个scrapy项目解释了如何取消匿名：感谢fmp一步一步地提供帮助。考虑到你的答案，我编辑了我的问题（编辑1个标签）。关于你的最后一个问题“你想过租用代理服务器吗？”如果我用TOR重定向我的流量，为什么我需要租用一些代理服务器？对不起，我没有在windows下运行TOR。您不必租用代理，您的初始问题可以选择隐藏您的“真实”ip（在代理服务器后面），并将您的请求与不同的ip（例如来自代理服务器的ip）关联。如何使polipo与https一起工作？有人能帮忙吗？我正在获取无法打开连接隧道。：已编辑链接6:使用Web存档版本