Javascript Can';t加载网页的完整HTML内容
我正在尝试加载一个有1200篇关于医生的评论的文件。我想把这些评论删掉。我的问题是这些评论一次加载10个,这使得手动检索评论的过程非常繁琐 通过运行命令Javascript Can';t加载网页的完整HTML内容,javascript,web-scraping,webbrowser-control,Javascript,Web Scraping,Webbrowser Control,我正在尝试加载一个有1200篇关于医生的评论的文件。我想把这些评论删掉。我的问题是这些评论一次加载10个,这使得手动检索评论的过程非常繁琐 通过运行命令document.getElementById(“LoadMore”).click()我可以再加载10篇评论。然而,当我把这个命令放在for循环中时,它只加载另外10条评论。我需要加载所有的评论到网页,以刮他们。我的问题是,我不知道用JavaScript实现这一点的正确方法 注: 我试过这个while循环 while(document.getEl
document.getElementById(“LoadMore”).click()
我可以再加载10篇评论。然而,当我把这个命令放在for循环中时,它只加载另外10条评论。我需要加载所有的评论到网页,以刮他们。我的问题是,我不知道用JavaScript实现这一点的正确方法
注:
我试过这个while循环
while(document.getElementById("LoadMore")){
document.getElementById("LoadMore").click();
}
但是网页崩溃了
请随时询问是否有不清楚的地方。在您的情况下,您有真实的价值。因此,您会得到一个无限循环,如
while(true).
,从而导致页面崩溃
一个可能的解决方案是使用一些检查新内容,然后单击按钮。或者您可以使用setTimeout hack,但由于时间问题,它不是很好
但最好的解决方案是尝试通过API端点直接加载内容,该端点将这些数据提供给您的抓取表单的网页。您最好直接从他们的API而不是他们的网页中抓取数据。请求URL如下所示
https://www.vezeeta.com/en/DoctorProfile/GetDoctorReviews?entityId=53743&sortByComment=true&pageNumber=3