Asp.net Html Agility Pack未加载包含完整内容的页面?
我正在使用Html Agility Pack从网站获取数据(废弃) 我的问题是网站从我获取的数据是加载一些内容后几秒钟的页面加载 因此,每当我试图从特定的Div读取特定的数据时,它都会给我null 但是在Asp.net Html Agility Pack未加载包含完整内容的页面?,asp.net,html-parsing,web-scraping,html-agility-pack,scrape,Asp.net,Html Parsing,Web Scraping,Html Agility Pack,Scrape,我正在使用Html Agility Pack从网站获取数据(废弃) 我的问题是网站从我获取的数据是加载一些内容后几秒钟的页面加载 因此,每当我试图从特定的Div读取特定的数据时,它都会给我null 但是在var页面中我只是没有得到分区reviewBox。因为它还没有加载 public void FetchAllLinks(String Url) { Url = "http://www.tripadvisor.com/"; HtmlDocument page = new HtmlW
var页面中
我只是没有得到分区reviewBox
。因为它还没有加载
public void FetchAllLinks(String Url)
{
Url = "http://www.tripadvisor.com/";
HtmlDocument page = new HtmlWeb().Load(Url);
var link_list= page.DocumentNode.SelectNodes("//div[@class='reviewBox']");
foreach (var link in link_list)
{
htmlpage.InnerHtml = link.InnerHtml;
}
}
那么,有谁能告诉我如何延迟该请求吗
HtmlDocument page = new HtmlWeb().Load(Url);
将在
页面中加载完整数据
varibale这与延迟请求无关。该节点由使用DOM的javascript填充,而Html Agility Pack对于该需求是错误的工具(它根本不是web引擎,它只加载基本Html)
当我需要得到需要一个完整的web引擎来解析的东西时,我通常使用。它旨在帮助单元测试实际的网页,但这意味着它允许通过给定的浏览器引擎对网页进行编程访问,并将加载完整的文档。它附带了IE或Firefox的现成驱动程序,我隐约记得Chrome也不难使用。“适用于Internet Explorer 6、7、8、9以及Firefox 2和3”