Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/csharp/275.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
C# 屏幕刮取web应用的页面-内部服务器错误_C#_Screen Scraping - Fatal编程技术网

C# 屏幕刮取web应用的页面-内部服务器错误

C# 屏幕刮取web应用的页面-内部服务器错误,c#,screen-scraping,C#,Screen Scraping,我正在尝试屏幕抓取一个网页应用程序,它只包含文本,由第三方托管。它不是一个格式正确的HTML页面,但是显示的文本将告诉我们web应用程序是启动还是关闭 当我尝试刮取sreen时,它在尝试WebRequest时返回一个错误。错误是“远程服务器返回错误:(500)内部服务器错误。” 想知道如何从页面中获取文本吗?首先,尝试以下方法: HttpWebRequest请求=(HttpWebRequest)WebRequest.Create(url) 但是,如果您只是查找文本,而不必向服务器发布任何数据,则

我正在尝试屏幕抓取一个网页应用程序,它只包含文本,由第三方托管。它不是一个格式正确的HTML页面,但是显示的文本将告诉我们web应用程序是启动还是关闭

当我尝试刮取sreen时,它在尝试WebRequest时返回一个错误。错误是“远程服务器返回错误:(500)内部服务器错误。”

想知道如何从页面中获取文本吗?

首先,尝试以下方法:

HttpWebRequest请求=(HttpWebRequest)WebRequest.Create(url)


但是,如果您只是查找文本,而不必向服务器发布任何数据,则可能需要查看webClient类。它更像一个真正的浏览器,并且处理了很多HTTP头的东西,如果你坚持使用HttpWebRequest类,你可能最终不得不处理这些东西。

一些网站不喜欢默认的UserAgent。考虑把它变成真实的东西,比如:

((HttpWebRequest)request).UserAgent = "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.125 Safari/533.4"

+1我以前尝试过屏幕抓取时经常出现这种情况。顺便说一句,默认用户代理是空的-通常指定任何内容都可以。
((HttpWebRequest)request).UserAgent = "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.125 Safari/533.4"