使用PHP scraper获取所有Play store搜索结果(不仅仅是前20名)

使用PHP scraper获取所有Play store搜索结果(不仅仅是前20名),php,jquery,scroll,web-crawler,scrape,Php,Jquery,Scroll,Web Crawler,Scrape,总结: 我想获取所有Play store搜索结果,问题是,在滚动之后显示的应用程序在PHP文件中没有显示 详情: 我正在尝试制作一个基于php的play store scraper 我检查了所有stackoverflow答案和github示例,但它们都是旧的,不起作用。这是因为以前Play store对更多应用程序/下一页使用开始参数。。现在,play store在scroll上显示更多应用程序 所以经过这么多的研究,我决定做我自己的刮刀 我在做什么: file_get_contents:从pl

总结:

我想获取所有Play store搜索结果,问题是,在滚动之后显示的应用程序在PHP文件中没有显示

详情:

我正在尝试制作一个基于php的play store scraper

我检查了所有stackoverflow答案和github示例,但它们都是旧的,不起作用。这是因为以前Play store对更多应用程序/下一页使用开始参数。。现在,play store在scroll上显示更多应用程序

所以经过这么多的研究,我决定做我自己的刮刀

我在做什么:

file_get_contents:从play store获取查询url,如下所示:

$result = file_get_content( "https://play.google.com/store/search?q=football" );
这个结果只返回20个应用,我想要250个

Play store在查询结果中仅显示20个应用,更多应用仅在滚动时显示

我试图从网络标签中获取GoogleAJAXURL,但google在下一个滚动页面中使用令牌参数

问题:

如何使用PHP获取滚动内容?如果不可能,我如何获得play store所有搜索结果


否则,我如何才能用PHP获取页面内容,而这些内容是用javascript显示的?

请查看chrome开发工具中的存储站点。它有一个完美的数据源,但您可能很难获得令牌。我怀疑他们是不是想把这个擦掉

概述:

请求URL: 申请方式:邮寄 身份代码:200 远程地址:216.58.220.142:443

表格数据:

开始:20 总数:5 儿童:10 pagTok:CBQQFA==:S:ANO1ljJ62NU 指规数:1 xhr:1 令牌:OmILlMEkRv_FCJ1tveWI8rtELHQ:1459318564260


你看过google play商店背后的AJAX请求了吗?有API吗?开始:20??,在我的chrome和mozila中,它的显示开始:0,num:0。。。我发现,这些参数不起作用,播放存储使用令牌的下一页。