Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/csharp/328.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
C# 以编程方式下载网页_C#_Html_Screen Scraping_Webpage - Fatal编程技术网

C# 以编程方式下载网页

C# 以编程方式下载网页,c#,html,screen-scraping,webpage,C#,Html,Screen Scraping,Webpage,我需要从网站上下载某些网页来进行研究。我尝试使用Darcy Wripper、WinHTTrack和C#WebClient方法下载它们。发生这种情况时,一些页面被下载,而(大多数)其他页面抛出错误。例如,我从Darcy Wripper那里复制了这个错误 27错误不适用不适用500 0 403 -请求中止11错误不适用不适用500 0 403 在Firefox中打开相同的网页(有时会出现我们正在维护的错误,但下一次尝试会打开该页面)。 我的问题是:C语言中有没有一种方法可以下载这些有问题的页面?我还

我需要从网站上下载某些网页来进行研究。我尝试使用Darcy Wripper、WinHTTrack和C#WebClient方法下载它们。发生这种情况时,一些页面被下载,而(大多数)其他页面抛出错误。例如,我从Darcy Wripper那里复制了这个错误

27错误不适用不适用500 0 403 -请求中止11错误不适用不适用500 0 403

在Firefox中打开相同的网页(有时会出现我们正在维护的错误,但下一次尝试会打开该页面)。 我的问题是:C语言中有没有一种方法可以下载这些有问题的页面?我还试图为.Net寻找Firefox包装器,但运气不好。我的印象是,也许我可以在Firefox中使用一系列链接逐个打开这些页面,然后从命令行程序中保存它们。 我们将非常感谢您在这方面提供的任何帮助或见解。
关于

您的目标是使用c#/.net下载特定页面,对吗?以下是一些让您开始学习的代码:

var request = WebRequest.Create("http://www.dawn.com/news/515958/animadversion-only-the-globes-looked-golden");
var response = request.GetResponse();
string content = null;
using (var streamreader = new StreamReader(response.GetResponseStream(), Encoding.UTF8))
{
    content = streamreader.ReadToEnd();
}
/* do cool stuff with the content */

非常感谢。我试了一次又一次达西·瑞珀。下载了足够的页面,足以满足我的目的。服务器似乎有问题,因为它没有正确地响应许多下载方法。