Java 将HTML代码添加到列表中
所以我正试图做一个刮刀作为我的第一个项目。我是个新手,我并不真正理解我写的代码。虽然我不明白,但eclipse中似乎没有任何错误 我编写的代码假设读取html源文件,并将其逐行添加到数组列表中,直到无法读取为止,然后返回列表。我真的不知道它是否简单,但我不知道为什么它不起作用Java 将HTML代码添加到列表中,java,url,arraylist,bufferedreader,Java,Url,Arraylist,Bufferedreader,所以我正试图做一个刮刀作为我的第一个项目。我是个新手,我并不真正理解我写的代码。虽然我不明白,但eclipse中似乎没有任何错误 我编写的代码假设读取html源文件,并将其逐行添加到数组列表中,直到无法读取为止,然后返回列表。我真的不知道它是否简单,但我不知道为什么它不起作用 import java.util.ArrayList; import java.io.InputStreamReader; import java.net.URL; import java.util.List; impor
import java.util.ArrayList;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.List;
import java.io.BufferedReader;
public class Scraper {
public static void main(String [] args)throws Exception{
get_url_source("https://statsroyale.com/clan/99VUU8Y");
}
public static List<String> get_url_source(String URL)throws Exception {
List <String> source = new ArrayList <>();
URL stats = new URL("https://statsroyale.com/clan/99VUU8Y");
BufferedReader in = new BufferedReader(new InputStreamReader(stats.openStream()));
String inputLine;
while ((inputLine = in.readLine()) != null)
source.add(inputLine);
return source;
}
}
该站点正在检查您的用户代理,以查看是否被机器人程序访问, 要欺骗站点,使其认为您是普通用户,您必须更改用户代理 这样:
URL stats = new URL("https://statsroyale.com/clan/99VUU8Y");
HttpsURLConnection statsConnection = (HttpsURLConnection) stats.openConnection();
statsConnection.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");
statsConnection.connect();
BufferedReader in = new BufferedReader(new InputStreamReader(statsConnection.getInputStream()));
该站点正在检查您的用户代理,以查看是否被机器人程序访问, 要欺骗站点,使其认为您是普通用户,您必须更改用户代理 这样:
URL stats = new URL("https://statsroyale.com/clan/99VUU8Y");
HttpsURLConnection statsConnection = (HttpsURLConnection) stats.openConnection();
statsConnection.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");
statsConnection.connect();
BufferedReader in = new BufferedReader(new InputStreamReader(statsConnection.getInputStream()));
什么是403错误-请参阅什么是403错误-请参阅