Web scraping 如何从网页中抓取数据,在客户端操作之后,比phantom js更快?

Web scraping 如何从网页中抓取数据,在客户端操作之后,比phantom js更快?,web-scraping,phantomjs,Web Scraping,Phantomjs,我需要从网页上刮取一些数据,但首先我需要做一些交互,然后在客户端重新计算值之后——刮取它。 我试过phantom.js,但完成这个需要大约20秒。 也许有更快的工具,或者另一种方法可以做到这一点?老实说,我对phantom.js不是很熟悉,所以我可能错过了一些东西。我们将很高兴得到关于如何以正确的方式实现该功能的建议和一些好资料的链接。谢谢。您不能使用无头浏览器在服务器上进行计算吗?您可以使用jsdom这样的库而不是真正的无头浏览器吗?网站是什么?你用什么方法来删除它(又名显示代码)?是的,我不

我需要从网页上刮取一些数据,但首先我需要做一些交互,然后在客户端重新计算值之后——刮取它。 我试过phantom.js,但完成这个需要大约20秒。
也许有更快的工具,或者另一种方法可以做到这一点?老实说,我对phantom.js不是很熟悉,所以我可能错过了一些东西。我们将很高兴得到关于如何以正确的方式实现该功能的建议和一些好资料的链接。谢谢。

您不能使用无头浏览器在服务器上进行计算吗?您可以使用jsdom这样的库而不是真正的无头浏览器吗?网站是什么?你用什么方法来删除它(又名显示代码)?是的,我不清楚。该网站是-我需要从“趋势跟踪”标签刮数据。当然,首先我检查了网络,找到了获取初始数据的路径。但问题是,所有的计算都发生在客户端,正如你们所看到的,当标签改变时,url并没有改变,所以我只能得到所需的信息。在这种情况下,最干净的方法是调查这些值是如何计算的。我在缩小的文件中找到了公式,但我无法理解公式中每个变量的含义。我也在论坛上写了一些话题,想弄清楚这些东西是如何计算出来的,但并没有明确的答案。我花了很多时间,现在我想改变我的方法来解决这个问题。好吧,所以从客户那里讨价还价可能更好。如果没有看到代码,就不可能给出优化建议。还有:20多岁。完成这项工作真的需要很长时间吗?你需要在一个小时内或者一天只需要刮一次数千个数据项吗?是的,这可能不是什么大问题。我现在在试木偶,也许会有更好的效果。