用JAVA解析需要滚动以显示完整内容的网站

用JAVA解析需要滚动以显示完整内容的网站,java,html,parsing,scroll,web,Java,Html,Parsing,Scroll,Web,我目前正在用JAVA编写一个程序,可以解析html页面的内容。但我无法获取整个页面,因为需要向下滚动才能加载其余内容 我可以通过一个工具(HttpFox)看到,当我向下滚动时,发送了一个POST请求 收到:(0) 方法:POST 类型:应用程序/x-javascript 网址: URL与我要从中获取内容的网站不同 此外,还显示了参数: listType=dummyparamone&dummyparamtwo=false&page=1 每次滚动加载新内容时,数字都会增加 有没有办法用POST请求模

我目前正在用JAVA编写一个程序,可以解析html页面的内容。但我无法获取整个页面,因为需要向下滚动才能加载其余内容

我可以通过一个工具(HttpFox)看到,当我向下滚动时,发送了一个POST请求

收到:(0)
方法:POST
类型:应用程序/x-javascript
网址:

URL与我要从中获取内容的网站不同

此外,还显示了参数:

listType=dummyparamone&dummyparamtwo=false&page=1

每次滚动加载新内容时,数字都会增加

有没有办法用POST请求模拟滚动,或者我不允许在这里使用它

也许只是一个使用javascript、JSoup、Ajax等的解决方案

目前我正在使用Apache httpclient进行连接


谢谢你的帮助

您可以在Java中模拟POST请求,然后自己解析结果,然后再将其添加到请求的当前正文中。您的意思是,(发送POST请求)->(将GET请求发送到当前站点)?我要把这些女的放在哪里?我使用的是ApacheHttpClient。首先,像以前一样提取站点内容。然后,一旦你解析了所有感兴趣的内容,就用修改过的页码发送你在上面找到的确切的POST请求。然后,您需要对其进行解析,以获得进一步的页面。有很多关于如何发送POST请求的教程。是的,我已经试过了。但问题是,当我把它输入到浏览器地址栏时,我找不到它。只是一张空白页。所以我想应该扣动扳机。例如Javascript?当你在浏览器中键入它时,它将不起作用,因为你的浏览器将发送一个GET请求,而不是带有正确参数的POST请求。。。