Javascript 如何正确地在无限滚动的网页中爬行？

我如何从一个无限滚动的站点上抓取数据

我要做的是从Google Play Store（）获取所有数据

我正在使用Apify（）在Google Play商店中爬行；我想获得“顶级免费游戏”的所有链接，然后获得顶级游戏的所有标题和详细信息

不幸的是，当用户滚动到页面底部时，页面会加载新数据，我不知道如何获取新数据

这是我的页面功能：

function pageFunction(context) {
var $ = context.jQuery;
if (context.request.label === "DETAIL") {
    context.skipLinks();
    if($('.details-info .info-container .info-box-top .document-title .id-app-title').length >= 1) {
        return {
            title: $('.details-info .info-container .info-box-top .document-title .id-app-title').text(),
            publisher: $('.details-info .info-container .info-box-top .document-subtitles .primary').text(),
            genre: $('.details-info .info-container .info-box-top .document-subtitles .category').text(),
            rating: $('.details-wrapper .details-section .rating-box .score').text()
        };
    }
} else {
    context.skipOutput();
    $.post("https://play.google.com/store/apps/category/GAME/collection/topselling_free?hl=en&authuser=0");
}

}

如何加载其他游戏并获取它们的链接，以便在游戏页面上获取它们的详细信息

---

非常感谢您提供一个示例或示例代码。

在“高级设置”下有一个名为“无限滚动高度”的选项，可以从无限滚动中抓取内容。检查

我认为每个“滚动”都是一个新页面、新链接、新请求。你应该走那条路。最终，你的爬虫程序已经有了一些方法来抓取这样的页面。我读到了，但我认为这只是为了限制它滚动的距离。我现在觉得很傻。这正是我想要的，谢谢你！此设置是否已弃用？