.net 爬网基于表单身份验证的https网站

嗨，我能够抓取http网站，这些网站没有使用html敏捷性包进行保护。但是一些https安全的网站需要身份验证（可能是形式验证）才能看到其内容，因此我无法爬网。我看到IBMs omnifind爬虫插件，我们可以将其用于.net。请大家提示一下如何处理这个问题。

您显然需要凭据，所以您应该整理一下身份验证位是如何工作的

假设它是基于表单的，那么使用CookieContainer（）实现某些东西应该不会有任何问题

该链接底部的示例显示了如何迭代从站点返回的cookie

这里有一个现有的问题也应该能帮助指导你：

干杯