Dom 用动态页面抓取网站

Dom 用动态页面抓取网站,dom,web-crawler,aggregation,Dom,Web Crawler,Aggregation,我需要抓取网站,并提取一些信息后,表单提交动态创建的网页 我需要抓取的信息主要来自这些网站上的数据库 添加: 爬虫通常通过从一个超链接跳到另一个超链接来工作。所以这些大部分是静态页面。如何抓取不是静态存在而是动态创建的页面 从爬虫的角度来看,没有太大区别。您仍在获得更广泛的HTML 你唯一需要注意的是,链接会导致无限多的页面,例如动态生成的日历,并且有指向下一个月/上一个月/年的链接。从爬虫的角度来看,没有太大的区别。您仍在获得更广泛的HTML 你唯一需要注意的是,链接会导致无限多的页面,例如动

我需要抓取网站,并提取一些信息后,表单提交动态创建的网页

我需要抓取的信息主要来自这些网站上的数据库

添加:


爬虫通常通过从一个超链接跳到另一个超链接来工作。所以这些大部分是静态页面。如何抓取不是静态存在而是动态创建的页面

从爬虫的角度来看,没有太大区别。您仍在获得更广泛的HTML


你唯一需要注意的是,链接会导致无限多的页面,例如动态生成的日历,并且有指向下一个月/上一个月/年的链接。

从爬虫的角度来看,没有太大的区别。您仍在获得更广泛的HTML


你唯一需要注意的是,链接会导致无限多的页面,例如动态生成的日历,并且有指向下一个月/上一个月/年的链接。

很好,你能提供更多信息吗?我也有同样的问题。如何才能得到动态网站。很好,你能提供更多的信息吗?我也有同样的问题。如何才能得到动态网站。