Fatal编程技术网
  • ruby-on-rails/
  • Ruby on rails 通过保持连接打开来加速OpenUri？

Ruby on rails 通过保持连接打开来加速OpenUri？

ruby-on-rails ruby ruby-on-rails-3 ruby-on-rails-4

Ruby on rails 通过保持连接打开来加速OpenUri？,ruby-on-rails,ruby,ruby-on-rails-3,ruby-on-rails-4,Ruby On Rails,Ruby,Ruby On Rails 3,Ruby On Rails 4,有没有办法在Ruby中加速OpenUri连接，也许是通过某种方式保持流的开放 以下是我目前正在执行的检索数据的操作： doc = Nokogiri::HTML( open(url).read ) 当批处理数千个URL时，这似乎很慢。尝试nethttp持久化（，）。如果使用OpenURI处理数千个URL，则使用了错误的库。相反，你应该看看能让你并行处理它们的东西 我建议你考虑使用。Typhous是获取URL的代码，Hydra处理多个连接。查看主页上的示例，了解同时运行多个并行连接是多么容易 运行

有没有办法在Ruby中加速OpenUri连接，也许是通过某种方式保持流的开放

以下是我目前正在执行的检索数据的操作：

doc = Nokogiri::HTML( open(url).read )
当批处理数千个URL时，这似乎很慢。

尝试
nethttp持久化
（，）。
如果使用OpenURI处理数千个URL，则使用了错误的库。相反，你应该看看能让你并行处理它们的东西

我建议你考虑使用。Typhous是获取URL的代码，Hydra处理多个连接。查看主页上的示例，了解同时运行多个并行连接是多么容易

运行一些基准测试，以确定您在什么时候使主机和internet连接饱和。试图运行超过管道处理能力的连接只会浪费CPU时间。此外，如果您试图处理到同一主机的多个连接，同时也在消耗它们的带宽和CPU，那么请小心，这是一种很好的禁用方法