如何通过asp.net下载html页面

如何从web应用程序下载网页，然后读取“title”和“description”元标记？ 像一个网络爬虫，但在Asp.net中，由..调用Asp.net网页

谢谢

使用及其

HTMLWeb

类。

您可以使用在

System.NET

命名空间中找到的在.NET中对外部URL进行屏幕抓取。使用

DownloadData

方法从指定的URL下载内容。下载的数据以字节数组的形式出现，但您可以将其转换为字符串

下面的代码片段演示了如何使用

WebClient

从我的博客主页获取HTML：

一旦有了标记，就可以使用正则表达式或字符串搜索方法来选择感兴趣的标记

// Create a new WebClient instance.
WebClient myWebClient = new WebClient();

// Download the markup from 
byte[] myDataBuffer = myWebClient.DownloadData("http://scottonwriting.net/sowblog/default.aspx");

// Convert the downloaded data into a string
string markup = Encoding.ASCII.GetString(myDataBuffer);