Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/javascript/431.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Javascript Can';t加载网页的完整HTML内容_Javascript_Web Scraping_Webbrowser Control - Fatal编程技术网

Javascript Can';t加载网页的完整HTML内容

Javascript Can';t加载网页的完整HTML内容,javascript,web-scraping,webbrowser-control,Javascript,Web Scraping,Webbrowser Control,我正在尝试加载一个有1200篇关于医生的评论的文件。我想把这些评论删掉。我的问题是这些评论一次加载10个,这使得手动检索评论的过程非常繁琐 通过运行命令document.getElementById(“LoadMore”).click()我可以再加载10篇评论。然而,当我把这个命令放在for循环中时,它只加载另外10条评论。我需要加载所有的评论到网页,以刮他们。我的问题是,我不知道用JavaScript实现这一点的正确方法 注: 我试过这个while循环 while(document.getEl

我正在尝试加载一个有1200篇关于医生的评论的文件。我想把这些评论删掉。我的问题是这些评论一次加载10个,这使得手动检索评论的过程非常繁琐

通过运行命令
document.getElementById(“LoadMore”).click()
我可以再加载10篇评论。然而,当我把这个命令放在for循环中时,它只加载另外10条评论。我需要加载所有的评论到网页,以刮他们。我的问题是,我不知道用JavaScript实现这一点的正确方法

注: 我试过这个while循环

while(document.getElementById("LoadMore")){
  document.getElementById("LoadMore").click();
}
但是网页崩溃了


请随时询问是否有不清楚的地方。

在您的情况下,您有真实的价值。因此,您会得到一个无限循环,如
while(true).
,从而导致页面崩溃

一个可能的解决方案是使用一些检查新内容,然后单击按钮。或者您可以使用setTimeout hack,但由于时间问题,它不是很好


但最好的解决方案是尝试通过API端点直接加载内容,该端点将这些数据提供给您的抓取表单的网页。

您最好直接从他们的API而不是他们的网页中抓取数据。请求URL如下所示
https://www.vezeeta.com/en/DoctorProfile/GetDoctorReviews?entityId=53743&sortByComment=true&pageNumber=3