C# 服务器不可用503-WebClient.DownloadData

我正在尝试使用以下代码废弃一个站点：

WebClient client = new WebClient() { Encoding = Encoding.UTF8 };
client.Headers.Add("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.170 Safari/537.36");
byte[] buffer = client.DownloadData(URL);

但问题是，对于某些网站，例如www.amazon.ca，它返回一个错误 “服务器不可用503”当我评论这行时

 client.Headers.Add("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.170 Safari/537.36");

它下载了这个页面

之后，我再次取消了该行的注释，它毫无例外地下载了该站点！

---

有什么解释吗？

那么，你的问题是什么？为什么互联网上的每个站点的行为都不一样呢？同一个站点第一次返回了异常，然后它就工作了，所以我想知道为什么会发生这种情况。听起来他们至少有一些有效的方法来防止你删除他们的站点。