Ruby 最匿名的搜索引擎爬网方式

我正在用Ruby编写一个脚本，它使用一大堆搜索查询来搜索搜索引擎。我希望此脚本在用户使用时保持匿名。到目前为止，脚本将更改用户代理并使用随机头。是否有某种方式或某种搜索引擎可以让我保持匿名

我已经看到DuckDuckGo是一个好的开始，它也有一个API，因为它显然不是记录数据和使用Tor，但如果我想使用多个搜索引擎呢？例如，使用多个线程对多个搜索引擎进行爬网，并在所有引擎上保持匿名

我怎样才能做到这一点

---

我知道Rubys的代理功能，但我不完全确定如何使用它们是另一个问题。

如果你想在互联网上匿名，最好的选择之一是tor。你可以自己使用，也可以访问任何网站

首先，您必须连接到tor网络

tor --SOCKSPort 9050

然后您可以使用此gem：

并以匿名方式访问任何网站：

require 'socksify/http'
require 'net/http'
Net::HTTP.SOCKSProxy('127.0.0.1', 9050).start('some.website.com', 80) do |http|
  http.get('/')
end

如果出于安全原因需要匿名，请阅读tor文档。如果您想正确使用它，它是完整且重要的

---

目标网站可以很容易地知道流量来自tor网络（但它不知道流量来自何处），在爬行时要合理，你不希望站长阻止tor…

如果你想在互联网上匿名，最好的选择之一是tor。你可以自己使用，也可以访问任何网站

首先，您必须连接到tor网络

tor --SOCKSPort 9050

然后您可以使用此gem：

并以匿名方式访问任何网站：

require 'socksify/http'
require 'net/http'
Net::HTTP.SOCKSProxy('127.0.0.1', 9050).start('some.website.com', 80) do |http|
  http.get('/')
end

如果出于安全原因需要匿名，请阅读tor文档。如果您想正确使用它，它是完整且重要的

---

目标网站可以很容易地知道流量来自tor网络（但不知道流量来自何处），在爬行时要合理，你不希望站长阻止tor…

如果你想每天收到一些请求，tor是一个不错的选择，但大多数搜索引擎都将tor外发IP列入了黑名单，所以我认为你不会享受好的旅程。如果您可以为一个可以使爬网活动匿名并避免处理代理的麻烦的服务支付一些费用，那么我建议您使用ProxyCrawlAPI

---

该API易于使用，可以免费尝试并支持数百万个站点，价格是随用随付。

如果您每天需要一些请求，Tor是一个不错的选择，但大多数搜索引擎都将Tor的IP列入黑名单，因此我认为您不会享受良好的旅程。如果您可以为一个可以使爬网活动匿名并避免处理代理的麻烦的服务支付一些费用，那么我建议您使用ProxyCrawlAPI

---

该API易于使用，可以免费尝试并支持数百万个站点，价格是随用随付。

我对tor--SOCKS部分感到困惑，这是怎么回事？抱歉，我对代理及其工作原理知之甚少。它告诉我在端口9050上监听。然后使用Net:：HTTP.SOCKSProxy连接到此端口。您的Http请求将通过proxySo发出。基本上，Tor是通过端口9050连接的本地IP吗？我对Tor--SOCKS部分感到困惑，这是怎么回事？抱歉，我对代理及其工作原理知之甚少。它告诉我在端口9050上监听。然后使用Net:：HTTP.SOCKSProxy连接到此端口。您的Http请求将通过代理发出。我的本地IP是否通过端口9050连接？