Python 有没有一种简单快速的方法来生成JavaScript?

Python 有没有一种简单快速的方法来生成JavaScript?,python,ajax,web-crawler,scrapy,Python,Ajax,Web Crawler,Scrapy,我的问题开始于我尝试爬网一个应用商店,比如谷歌游戏。 每个应用程序都有很多评论,我想快速抓取它们。 但是google中的评论部分是由java脚本生成的。 例如,这里有一个链接:在该链接中,您可以看到,为了生成更多评论,您需要多次单击按钮。(在点击aprox 5-6次后)页面通过执行javascript生成更多注释 起初,我使用一个web驱动程序(firefox)解决了这个问题,并模拟一个真实的人点击按钮,它会生成评论,他会一直按直到生成所有评论 这方面的问题是:1,它需要太多的时间。2.有时在点

我的问题开始于我尝试爬网一个应用商店,比如谷歌游戏。 每个应用程序都有很多评论,我想快速抓取它们。 但是google中的评论部分是由java脚本生成的。 例如,这里有一个链接:在该链接中,您可以看到,为了生成更多评论,您需要多次单击按钮。(在点击aprox 5-6次后)页面通过执行javascript生成更多注释

起初,我使用一个web驱动程序(firefox)解决了这个问题,并模拟一个真实的人点击按钮,它会生成评论,他会一直按直到生成所有评论

这方面的问题是:1,它需要太多的时间。2.有时在点击数吨次并生成JS后,web浏览器无法响应

我需要的是一种更好、更快地为每个应用程序生成所有注释的方法。也许有某种技术,或者其他任何东西可以改进我的解决方案

我正在使用我在scrapy中创建的蜘蛛


所有的帮助都将受到极大的感谢

他们生成/显示附加评论的原因之一就是他们不希望有人对其进行爬网。。。另一种方法是在没有它们的情况下加载初始页面(更快),并且只有当有人开始阅读评论以显示更多内容时


除非它们提供了一个API,您可以一次提取所有注释,否则我看不到其他快速提取它们的方法,除了模拟单击和滚动。。。(慢慢来)

你尊重我吗?为什么或者为什么不?

如果你参考play.google.com/robots.txt->Disallow:/apps,在那里的应用程序上测试这个功能很容易。不管robots.txt如何,我现在尝试开发这个特性(所以现在我不解决这个问题)。