C# 有可能在C中伪造Useragent吗？

我想用C创建一个爬虫程序。问题是一些网站在robots.txt文件中禁用了黑名单爬虫程序，使用：

User-agent: *
Disallow: /

---

有没有一种方法可以伪造我的请求以显示我是Google机器人？

是的，HttpWebRequest有一个user agent属性。您可以将其设置为任何值。

HttpWebRequest有.UserAgent，但是-我只想说：不要

当然，您的观点re robots.txt相当没有意义；这是你应该遵循的。如果你编写了一个行为不好的工具，不管你声称什么是你的用户代理，都会忽略robots.txt，那么你很快就会被列入黑名单

---

特别是，试图模仿任何一个主要玩家都是非常可疑的。坦率地说，我希望大多数主要网站也会检查传入的IP范围。

糟糕透了。这是干什么用的？我可以创建一个爬虫程序，使用网络浏览器获取我想要的信息。我需要一个数据挖掘项目的网站的数据。没有滥用任何东西的意图@AlirezaNoori我的观点是：如果一个网站关心向不同的代理发布不同的robots.txt规则，那么他们可能不会相信你是Google。事实证明，他们只是想让我有一个用户代理。我将自己的程序名设置为属性，它就工作了。无需将其设置为谷歌机器人。双赢：D