如何使用C#中的脚本刮取生成的页面?

如何使用C#中的脚本刮取生成的页面?,c#,web-scraping,C#,Web Scraping,简单的例子:谷歌搜索页面 当我得到页面的源代码时,我得到了底层JavaScript。我想要结果页面。我该怎么办?即使它看起来只是javascript,但实际上是完整的HTML,您可以通过以下方式轻松确认: 如何访问HTML?html变量包含脚本。@Igor:查找标记-html内容随后开始 HtmlAgilityPack.HtmlWeb web = new HtmlAgilityPack.HtmlWeb(); HtmlAgilityPack.HtmlDocument doc = web.Load

简单的例子:谷歌搜索页面

当我得到页面的源代码时,我得到了底层JavaScript。我想要结果页面。我该怎么办?

即使它看起来只是javascript,但实际上是完整的HTML,您可以通过以下方式轻松确认:


如何访问HTML?
html
变量包含脚本。@Igor:查找
标记-html内容随后开始
HtmlAgilityPack.HtmlWeb web = new HtmlAgilityPack.HtmlWeb();
HtmlAgilityPack.HtmlDocument doc = web.Load("http://www.google.com/search?q=foobar");
string html = doc.DocumentNode.OuterHtml;
var nodes = doc.DocumentNode.SelectNodes("//div"); //returns 85 nodes