如何使用jsoup解析html项的“不可见”

如何使用jsoup解析html项的“不可见”,html,web-scraping,jsoup,Html,Web Scraping,Jsoup,我正试图通过jsoup从hardens.com获取所有餐厅评论,但我遇到了一个问题。默认情况下,每个餐厅都可以看到3条评论,这些评论也会出现在源页面上。如果有更多评论可用,则有一个加载更多评论选项,允许我通过浏览器查看评论,但当我查看页面源时,它们不在那里。没有加载更多评论的链接,我不知道如何获得这些评论。有什么想法吗 以下是该网站的链接: 看起来该站点正在通过AJAX请求加载附加评论。查看启用了XHR日志记录的控制台,我看到: XHR finished loading: POST "http:

我正试图通过jsoup从hardens.com获取所有餐厅评论,但我遇到了一个问题。默认情况下,每个餐厅都可以看到3条评论,这些评论也会出现在源页面上。如果有更多评论可用,则有一个加载更多评论选项,允许我通过浏览器查看评论,但当我查看页面源时,它们不在那里。没有加载更多评论的链接,我不知道如何获得这些评论。有什么想法吗

以下是该网站的链接:

看起来该站点正在通过AJAX请求加载附加评论。查看启用了XHR日志记录的控制台,我看到:

XHR finished loading: POST "http://www.hardens.com/more_reviews/load_more_reviews.php".

因此,您需要找出运行该请求的JS代码,然后自己运行相同的请求。它可能返回JSON或类似于机器可读的内容,因此您可以使用该PHP脚本作为刮取的更简单替代方案。

您迄今为止尝试了什么?你能给我们看一下你的代码并澄清你的问题吗?这听起来不像你正在尝试做的事情是你应该做的事情,原因有很多。我试图找到一个链接,其中包含那些没有运气的评论。我认为代码并不重要,最重要的是找到正确的方法来获取缺少的内容。我要做的是分配给我的论文: