Java 与谷歌不同的HTML内容;“查看页面来源”;
我已经读到,这与使用的用户代理有关,但我找不到一种方法来获得谷歌使用的用户代理 我试图从中获取HTML内容,比如说,当我使用Google Chrome点击“查看页面源代码”时,我得到了价格等(我需要的),但我无法使用java代码访问这些内容 我必须找到我的谷歌浏览器的用户代理吗?我发现了,但是我得到了与使用java之前完全相同的结果 有什么想法吗 这是我的密码:Java 与谷歌不同的HTML内容;“查看页面来源”;,java,html,user-agent,Java,Html,User Agent,我已经读到,这与使用的用户代理有关,但我找不到一种方法来获得谷歌使用的用户代理 我试图从中获取HTML内容,比如说,当我使用Google Chrome点击“查看页面源代码”时,我得到了价格等(我需要的),但我无法使用java代码访问这些内容 我必须找到我的谷歌浏览器的用户代理吗?我发现了,但是我得到了与使用java之前完全相同的结果 有什么想法吗 这是我的密码: try{ URL url = new URL("https://www.kayak.fr/flights/TLS-ATH/20
try{
URL url = new URL("https://www.kayak.fr/flights/TLS-ATH/2019-10-04/2019-10-07?sort=price_a");
URLConnection con = url.openConnection();
con.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.117 Safari/537.36");
BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(con.getInputStream(),"UTF-8"));
String line;
while((line = bufferedReader.readLine()) != null){
System.out.println(line);
}
bufferedReader.close();
}catch(IOException e){
e.printStackTrace();
}
setRequestProperty在这段代码中是随机的,因为我还在测试。你能发布Java代码吗?刚刚添加了我的代码。你的请求被重定向到
/h/bots/captcha
。这个网站显然不允许删除他们的内容,但是他们如何检测浏览器和你的代码之间的差异还是个谜。这似乎很复杂。将所有内容从浏览器请求复制到curl命令仍然会导致重定向。我很想知道他们是怎么做的,绝对没有办法?我记得几年前我已经能够更改HTML结果了,重定向对java有什么影响吗?如果我使用PHP或任何其他语言,我会得到同样的结果吗?我是否无法模拟浏览器,然后复制粘贴HTML代码?