R 如何迭代到网站的最后一页&;是否也在.csv文件中逐行写入数据?

R 如何迭代到网站的最后一页&;是否也在.csv文件中逐行写入数据?,r,web-scraping,rvest,xml2,R,Web Scraping,Rvest,Xml2,我正试图搜集一些关于个人信息的招聘信息(下面的代码),但是我现在必须到最后一页才能找到它的“索引”或页码,然后我才能从第一页迭代到最后一页 我想让它自动运行,我只提供URL,其余部分由函数负责。有人能帮我吗?此外,由于我将刮去几百页,我担心我会被踢出,所以我希望确保获得尽可能多的数据,因此我必须写入csv文件,如下面的示例所示。还有更好的方法吗 事实上,我没有给我API密钥,所以这是我知道的唯一方法。代码如下: ##根据结果压缩页面(这里我只做了1页到5页) page_results我接受了这个

我正试图搜集一些关于个人信息的招聘信息(下面的代码),但是我现在必须到最后一页才能找到它的“索引”或页码,然后我才能从第一页迭代到最后一页

我想让它自动运行,我只提供URL,其余部分由函数负责。有人能帮我吗?此外,由于我将刮去几百页,我担心我会被踢出,所以我希望确保获得尽可能多的数据,因此我必须写入csv文件,如下面的示例所示。还有更好的方法吗

事实上,我没有给我API密钥,所以这是我知道的唯一方法。代码如下:

##根据结果压缩页面(这里我只做了1页到5页)

page_results我接受了这个建议,并期待着结束这个答案,以减少悬而未决的问题。这回答了我自己的问题。非常感谢社区一直以来的帮助


“我认为手动方式,即您决定提供页面开始和页面结束更有意义,而且“方便抓取”,因为您可以控制想要获取多少页面(另外还可以尊重公司服务器)。你知道,过了一段时间,你会看到相同的工作描述。因此,在我看来,坚持当前的方法。关于每次迭代编写.csv文件,我认为这很好。比我更好的人肯定应该说些什么。因为我在R方面还没有足够的知识。”–UltaPitt

我认为手动方式(即您决定提供页面开始和页面结束)更有意义,而且“抓取友好”,因为您可以控制想要获取的页面数量(同时尊重公司服务器)。你知道一段时间后你会看到同样的工作描述。所以在我看来,坚持当前的方法。关于每次迭代编写.csv文件,我认为这很好。比我好的人肯定应该说点什么。因为我还没有足够的R方面的知识。