Javascript PhantomJS多实例

Javascript PhantomJS多实例,javascript,phantomjs,Javascript,Phantomjs,我正在用phantomjs抓取一个网站,但是我想用多个phantomjs进程并行地请求同一个url并从页面请求不同的信息。我打算使用node.js和child_流程模块将其作为服务提供。但是,多次运行phantomjs scraper.js&并检查我的日志,我可以看到只有两个phantomjs进程能够从网站上抓取。另一个phantomjs进程空闲,直到另外两个进程完成。在日志中,phantomjs进程在onLoadFinished事件之前处于空闲状态(即,只有两个进程能够触发此事件,而其他进程在

我正在用phantomjs抓取一个网站,但是我想用多个phantomjs进程并行地请求同一个url并从页面请求不同的信息。我打算使用node.js和child_流程模块将其作为服务提供。但是,多次运行
phantomjs scraper.js&
并检查我的日志,我可以看到只有两个phantomjs进程能够从网站上抓取。另一个phantomjs进程空闲,直到另外两个进程完成。在日志中,phantomjs进程在onLoadFinished事件之前处于空闲状态(即,只有两个进程能够触发此事件,而其他进程在触发此类事件之前处于空闲状态)。如果我绕过onLoadFinished事件(应该在抓取站点之前触发),则进程看起来不像以前那样序列化,而是并行执行。有什么问题吗?

一些网站限制单个客户端可以同时连接的数量,但这似乎不是您的用例。与Firefox不同,Firefox也没有远程命令行选项,可以说“启动一个新进程,而不是打开已经运行的URL”。我没有主意了。如果你只是在刮东西,你可以用它来代替你自己的。(免责声明:我写的)