C# 以编程方式下载网页
我需要从网站上下载某些网页来进行研究。我尝试使用Darcy Wripper、WinHTTrack和C#WebClient方法下载它们。发生这种情况时,一些页面被下载,而(大多数)其他页面抛出错误。例如,我从Darcy Wripper那里复制了这个错误 27错误不适用不适用500 0 403 -请求中止11错误不适用不适用500 0 403 在Firefox中打开相同的网页(有时会出现我们正在维护的错误,但下一次尝试会打开该页面)。 我的问题是:C语言中有没有一种方法可以下载这些有问题的页面?我还试图为.Net寻找Firefox包装器,但运气不好。我的印象是,也许我可以在Firefox中使用一系列链接逐个打开这些页面,然后从命令行程序中保存它们。 我们将非常感谢您在这方面提供的任何帮助或见解。C# 以编程方式下载网页,c#,html,screen-scraping,webpage,C#,Html,Screen Scraping,Webpage,我需要从网站上下载某些网页来进行研究。我尝试使用Darcy Wripper、WinHTTrack和C#WebClient方法下载它们。发生这种情况时,一些页面被下载,而(大多数)其他页面抛出错误。例如,我从Darcy Wripper那里复制了这个错误 27错误不适用不适用500 0 403 -请求中止11错误不适用不适用500 0 403 在Firefox中打开相同的网页(有时会出现我们正在维护的错误,但下一次尝试会打开该页面)。 我的问题是:C语言中有没有一种方法可以下载这些有问题的页面?我还
关于您的目标是使用c#/.net下载特定页面,对吗?以下是一些让您开始学习的代码:
var request = WebRequest.Create("http://www.dawn.com/news/515958/animadversion-only-the-globes-looked-golden");
var response = request.GetResponse();
string content = null;
using (var streamreader = new StreamReader(response.GetResponseStream(), Encoding.UTF8))
{
content = streamreader.ReadToEnd();
}
/* do cool stuff with the content */
非常感谢。我试了一次又一次达西·瑞珀。下载了足够的页面,足以满足我的目的。服务器似乎有问题,因为它没有正确地响应许多下载方法。