Python 在web服务器上使用java内容的Scrapy
我想从一个显然使用javascript生成表格的站点（该站点是oddsportal.com）中获取内容 我看到Scrapy无法加载动态内容，我知道selenium可以处理它，但我计划使用web服务器 有没有一种方法可以解析这个站点，或者获取动态请求并使用scrapy解析它 例如，我想从这个页面导入包含标题、匹配名称和赔率的完整表Python 在web服务器上使用java内容的Scrapy,python,scrapy,web-crawler,Python,Scrapy,Web Crawler,我想从一个显然使用javascript生成表格的站点（该站点是oddsportal.com）中获取内容 我看到Scrapy无法加载动态内容，我知道selenium可以处理它，但我计划使用web服务器 有没有一种方法可以解析这个站点，或者获取动态请求并使用scrapy解析它 例如，我想从这个页面导入包含标题、匹配名称和赔率的完整表 据我所知，您有一个限制，即您没有真正的显示。您仍然可以使用selenium—有一个可以自动化的headless，有一个在中工作的选项，您可以使用远程selenium服务
据我所知，您有一个限制，即您没有真正的显示。您仍然可以使用selenium—有一个可以自动化的headless，有一个在中工作的选项，您可以使用远程selenium服务器或 关于如何结合硒和scrapy，有多个示例，例如：
另外，还要检查中间件是否足以满足您的用例 据我所知，您有一个限制，即您没有真正的显示。您仍然可以使用selenium—有一个可以自动化的headless，有一个在中工作的选项，您可以使用远程selenium服务器或 关于如何结合硒和scrapy，有多个示例，例如：
另外，还要检查中间件是否足以满足您的用例 对于通过AJAX和Javascript提供动态内容的站点，我使用了。它不需要打开浏览器，因为它本身就是一个完全可编写脚本的web浏览器。PhantomJS速度很快，包括对各种web标准的本机支持，如DOM处理、CSS选择器、JSON和画布 如果你不是JavaScript忍者，你应该看看，它是写在PhantomJS上的。它简化了定义完整导航场景的过程，并提供了有用的高级功能 下面是一个CasperJS如何工作的示例：
对于通过AJAX和Javascript提供动态内容的网站，我使用了。它不需要打开浏览器，因为它本身就是一个完全可编写脚本的web浏览器。PhantomJS速度很快，包括对各种web标准的本机支持，如DOM处理、CSS选择器、JSON和画布 如果你不是JavaScript忍者，你应该看看，它是写在PhantomJS上的。它简化了定义完整导航场景的过程，并提供了有用的高级功能 下面是一个CasperJS如何工作的示例：
所以最简单的选择是Scrapy+PhantomJS+Selenium？@GGA是的，不过，我会先尝试Scrapy splash，然后是PhantomJS。谢谢我尝试，Scrapy splash就足以满足一个简单的单页请求了？@GGA基本上，它会通过独立的js引擎传递页面。有时候，处理动态页面解析就足够了
PhantomJSPhantomJS