Java 下载网站获取请求

我正在做一个学校的项目，我们编写一个程序，查看一个网站，下载该网站发出的所有GET请求，然后将这些下载拉到本地文件中。该网站不是静态的，因为它有不断变化的信息，所以我不能只是运行一个刮刀通过它。有没有一种方法可以使用Java或C#以编程方式实现这一点？另外，我不能给你这个网站，因为它是以我教授的名字命名的，她只希望她的学生将其用于教学目的

p、 我知道你可以通过检查页面的元素并选择“网络”选项卡来手动执行此操作，但我在使用程序执行此操作时遇到问题

我正在做一个学校的项目

首先，我认为你的教授不知道他/她到底在问什么

简单的方法是：

a） 使用或类下载html代码

b） 例如，使用解析html，并从标记

a

，

img

，

script

，

link

等中提取链接（不适用于此）

但是这种方法将错过javascript动态创建的链接，再加上将相对URL映射到绝对URL是一件痛苦的事情（编写一个真正的浏览器模拟器当然是不可能的）

另一种选择是使用一个数据库，并通过库查看它发出的请求

但是，在这种情况下，除了使用一些第三方库之外，我看不出这种方法将如何让您学到其他东西

PS1：将页面加载到

Webbrowser控件

，然后使用DOM对象进行解析也不是一个解决方案。加载页面后，Javascript代码可能会添加/删除或修改某些链接。所以这个问题比你想象的更广泛

---

PS2：我对你教授的答案很好奇……

答案是“是”：有一种方法可以用你喜欢的任何语言编程管理它。除非你发布你处理的特定问题，否则没有人会为你编写代码。顺便说一句：

下载该网站发出的所有GET请求

，我想你会询问你作为客户发出的所有请求……也许你正在chrome中寻找该功能？