Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/315.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何使用HttpURLConnection在Java中设置我的downloader代理的名称?_Java_Web Crawler_Httpurlconnection - Fatal编程技术网

如何使用HttpURLConnection在Java中设置我的downloader代理的名称?

如何使用HttpURLConnection在Java中设置我的downloader代理的名称?,java,web-crawler,httpurlconnection,Java,Web Crawler,Httpurlconnection,我做了一个webcrawler,我想将我的下载代理的名称设置为网站知道谁在访问他们的内容,并按名称遵循robots.txt规则 我如何做到这一点?只需使用设置请求头。在HttpURLConnection上,即默认为java/xxx,其中xxx是版本号 例如 只需使用设置请求头。在HttpURLConnection上,即默认为java/xxx,其中xxx是版本号 例如 看 请参阅使用addRequestProperty或setRequestProperty设置用户代理标头的值 ,java.lang

我做了一个webcrawler,我想将我的下载代理的名称设置为网站知道谁在访问他们的内容,并按名称遵循robots.txt规则

我如何做到这一点?

只需使用设置请求头。在
HttpURLConnection
上,即默认为
java/xxx
,其中
xxx
是版本号

例如

只需使用设置请求头。在
HttpURLConnection
上,即默认为
java/xxx
,其中
xxx
是版本号

例如


请参阅使用addRequestProperty或setRequestProperty设置用户代理标头的值


,java.lang.String)

使用addRequestProperty或setRequestProperty设置用户代理头的值


,java.lang.String)

嗯,问题还不完全清楚,但您基本上是在问如何设置
用户代理
请求头?嗯,是的。我想给它起个名字,网站知道这不是Firefox、Chrome或正在访问的浏览器,而是一个机器人,我的机器人。有一些标准可供使用?嗯,问题并不完全清楚,但您基本上是在问如何设置
用户代理
请求头?嗯,是的。我想给它起个名字,网站知道这不是Firefox、Chrome或正在访问的浏览器,而是一个机器人,我的机器人。有一些标准可以使用吗?
connection.setRequestProperty("User-Agent", "RenatoBot/1.0");
connection.setRequestProperty("User-Agent", "yourDownloaderName")