C# 我的蜘蛛服务一直意外停止？

我有一个服务，拖网我们的网站，以获得大量的数据。在5个不同的线程上获取数据并将其放入数据库大约需要3天时间（猜测是因为它还没有完全运行！）。如果WebClient.DownloadData失败，则该错误将记录在数据库中并被忽略，但在昨天凌晨3点左右，在大约2000个失败的web请求之后，服务停止。它们返回远程服务器521异常或操作超时。我也有一个意外的异常捕捉到它，但它没有进入那里！我已经尝试修复这个错误好几个星期了，但是要让错误发生是一个漫长的过程！有人知道为什么会这样吗

我想，您需要给我们提供更多的细节和一些代码片段

我认为，根据您的描述，您有两个问题-一个是web请求开始失败，出现521个错误，另一个是服务停止

---

考虑到服务在大量web请求失败后停止，我会考虑某种类型的资源耗尽——内存是否耗尽？文件句柄？线程？还有别的吗？当web请求失败时，您的应用程序会做什么？

对我来说，这听起来有点像内存泄漏，或者可能是调用堆栈太深，蜘蛛会耗尽资源。我遇到了这样一个问题：使用SVD构建非常大的多维数组来关联搜索词。

感谢您接受这一点，但这是否意味着我为您指明了正确的方向？问题是什么？