ASP.NET web抓取超时问题

我正试图实现一个网页抓取爬虫作为我的ASP.NETMVC项目的一部分。它使用Html Agility Pack处理从不同URL收集的大量数据。问题是，当我想实际运行该功能时，我会在一分钟后从远程服务器获得“连接已重置”。当我在本地运行它时，我得到了更好的结果。我可以访问远程IIS。有没有解决此问题和/或其他解决方案的建议？

如果您在ASP.NET中有一个长时间运行的进程，最好让它在不同的线程上运行

---

请参阅和相关问题以及MSDN文章。

连接和网络问题可能会导致此类问题。为了避免阻止其他URL的抓取，您可以将工作并行化为单独的线程。

您是否尝试在一个页面请求中检索所有URL？我想是的。有一个循环生成URL并尝试捕获它们。但有了这个时间限制，它只能获得很少的URL。