用于web爬网的高性能JavaScript解释器

用于web爬网的高性能JavaScript解释器,javascript,selenium,web-crawler,headless,Javascript,Selenium,Web Crawler,Headless,我正在寻找一个JS引擎+DOM实现 它将被用来为用户在网上实时挖掘信息。我曾尝试过几种解决方案,包括phatomjs、zombiejs、xvfb和selenium、chrome、firefox,但它们都太慢,难以在实时应用程序中扩展 我能采取的最轻量级的方法是什么?我只需要废弃请求的结果DOM,不需要与js引擎进行硬交互 获取更好的连接。@zerkms连接正常。定义正常。还有,你是如何确定这是一个速度慢且必须优化的JS,而不是TCP的?@zerkms我的意思是,我有几个只支持http的网络爬虫程

我正在寻找一个JS引擎+DOM实现

它将被用来为用户在网上实时挖掘信息。我曾尝试过几种解决方案,包括phatomjs、zombiejs、xvfb和selenium、chrome、firefox,但它们都太慢,难以在实时应用程序中扩展


我能采取的最轻量级的方法是什么?我只需要废弃请求的结果DOM,不需要与js引擎进行硬交互

获取更好的连接。@zerkms连接正常。定义正常。还有,你是如何确定这是一个速度慢且必须优化的JS,而不是TCP的?@zerkms我的意思是,我有几个只支持http的网络爬虫程序,可以以最高速度运行。我假设错误出在js中,因为渲染过程中一些引擎不确定是否所有引擎都这样做了。另外,您将如何优化TCP?任何可能帮助我加快速度的提示都是欢迎的,不管是否与js相关。你可能想看看并基于Splash。