如何使用HttpURLConnection在Java中设置我的downloader代理的名称?
我做了一个webcrawler,我想将我的下载代理的名称设置为网站知道谁在访问他们的内容,并按名称遵循robots.txt规则 我如何做到这一点?只需使用设置请求头。在如何使用HttpURLConnection在Java中设置我的downloader代理的名称?,java,web-crawler,httpurlconnection,Java,Web Crawler,Httpurlconnection,我做了一个webcrawler,我想将我的下载代理的名称设置为网站知道谁在访问他们的内容,并按名称遵循robots.txt规则 我如何做到这一点?只需使用设置请求头。在HttpURLConnection上,即默认为java/xxx,其中xxx是版本号 例如 只需使用设置请求头。在HttpURLConnection上,即默认为java/xxx,其中xxx是版本号 例如 看 请参阅使用addRequestProperty或setRequestProperty设置用户代理标头的值 ,java.lang
HttpURLConnection
上,即默认为java/xxx
,其中xxx
是版本号
例如
只需使用设置请求头。在HttpURLConnection
上,即默认为java/xxx
,其中xxx
是版本号
例如
看
请参阅使用addRequestProperty或setRequestProperty设置用户代理标头的值
,java.lang.String)使用addRequestProperty或setRequestProperty设置用户代理头的值
,java.lang.String)嗯,问题还不完全清楚,但您基本上是在问如何设置
用户代理
请求头?嗯,是的。我想给它起个名字,网站知道这不是Firefox、Chrome或正在访问的浏览器,而是一个机器人,我的机器人。有一些标准可供使用?嗯,问题并不完全清楚,但您基本上是在问如何设置用户代理
请求头?嗯,是的。我想给它起个名字,网站知道这不是Firefox、Chrome或正在访问的浏览器,而是一个机器人,我的机器人。有一些标准可以使用吗?
connection.setRequestProperty("User-Agent", "RenatoBot/1.0");
connection.setRequestProperty("User-Agent", "yourDownloaderName")