C#中的webscraping问题:下载和解析压缩文本文件

C#中的webscraping问题:下载和解析压缩文本文件,c#,web-scraping,C#,Web Scraping,我正在写一个webscraper,从一个网站下载内容 遍历到网站/URL,会触发临时URL的创建。此新URL有一个压缩文本文件。必须下载并解析此压缩文件 我使用WebClient及其函数DownloadFileAsync()用C#编写了一个scraper。压缩文件在捕获的DownloadFileCompleted事件中从指定位置读取 我的问题是将触发Windows打开/保存对话框。这需要用户输入,自动化被中断 你能提出一个绕过这个问题的方法吗?我对使用任何替代库重写代码很在行。:) 感谢阅读您可

我正在写一个webscraper,从一个网站下载内容

遍历到网站/URL,会触发临时URL的创建。此新URL有一个压缩文本文件。必须下载并解析此压缩文件

我使用
WebClient
及其函数
DownloadFileAsync()
用C#编写了一个scraper。压缩文件在捕获的
DownloadFileCompleted
事件中从指定位置读取

我的问题是将触发Windows打开/保存对话框。这需要用户输入,自动化被中断

你能提出一个绕过这个问题的方法吗?我对使用任何替代库重写代码很在行。:)

感谢阅读

您可以使用来执行请求并将流式字节保存到磁盘

var request = WebRequest.Create(@"your url here");
request.Method=WebRequestMethods.Http.Get;
var response = request.GetResponse();
using (var writeStream = new FileStream(@"path", FileMode.Create))
{
    using (var readStream = response.GetResponseStream())
    {
        var buffer = new byte[1024];
        var readCount = readStream.Read(buffer,0,buffer.Length);
        while (readCount > 0)
        {
            writeStream.Write(buffer,0,buffer.Length);
            readCount= readStream.Read(buffer,0,buffer.Length);
        }
    }
}

这个术语是“刮伤”,而不是“刮伤”。你的问题没有任何意义,也没有足够的信息来回答。如果您的问题是提取下载的zip文件,这取决于存档的格式,但是您需要集成一些命令行工具来提取它,而不是在Windows资源管理器中打开它,这听起来像是您正在做的。。。