c#webbrowser在一个站点上刮取数千页失败

我需要从abc.com网站收集数据。url类似于“abc.com/city/a”；“abc.com/city/b”；“abc.com/city/c”；。。“abc.com/city/zzz”完全像2000多页。我正在考虑在循环中使用WebBrowser来获取数据。但是在100页之后总是失败，并获取一个标题为“来自网页的消息”的空白错误消息框。

---

这样做的正确方法是什么？

虽然我不确定性能如何，但您需要一个能够发送请求和读取响应的网络客户端。

在页面加载后加载一些js。因此我必须使用webBrowser。问题是大多数服务器不允许人们连接/查询那么多。除非您认识网站的运行人员，否则您将无法访问这样做可能会被列入黑名单。你应该向网站申请许可，也许他们可以通过Web服务或API帮助你。