Parsing 从多个嵌套网页解析数据

基本上，我们有一个网站，它有一系列关于不同项目的数据，它被安排成能够以树状结构（）描述一个项目。我们希望将所有类别分解出来，并将它们导出到Json文件中。我遇到的问题是，要打开每个类别，我需要单击它并让它重新加载。我想我必须模拟每个类别的点击。解析这些数据的最佳方法是什么？我可能会使用一些jQuery，但我对其他选项持开放态度。

如果您对选项持开放态度，那么我会使用。我在一个项目中使用了它，在这个项目中，我必须在网页上刮取数据并存储数据，然后根据数据编写报告。我也必须模拟真实的用户导航，这是完美的。它的文档非常简单。这很容易开始。半个小时后，我从一个简单的搜索页面上抓取结果

我还用于解析某些数据。这两者的结合应该能让你达到你想去的地方