Web scraping 获取链接并在页面中滚动-网页抓取木偶演员

我正在使用Puppeter进行网页抓取，就我而言，分页是通过滚动到无穷大（我不知道它是否精确结束）。通过滚动，我想得到所有出现的链接。 当我看到源代码时，有一些带有href的div类，这是我想要储存的链接，以便使用它进行“转到”。所以当我滚动时，我看到新的div出现了。所以我需要避免重复相同的链接我能做什么？我应该先使用一个数组，然后将该数组写入一个集合中吗？ 如何快速滚动页面