Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/url/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 将HTML代码添加到列表中_Java_Url_Arraylist_Bufferedreader - Fatal编程技术网

Java 将HTML代码添加到列表中

Java 将HTML代码添加到列表中,java,url,arraylist,bufferedreader,Java,Url,Arraylist,Bufferedreader,所以我正试图做一个刮刀作为我的第一个项目。我是个新手,我并不真正理解我写的代码。虽然我不明白,但eclipse中似乎没有任何错误 我编写的代码假设读取html源文件,并将其逐行添加到数组列表中,直到无法读取为止,然后返回列表。我真的不知道它是否简单,但我不知道为什么它不起作用 import java.util.ArrayList; import java.io.InputStreamReader; import java.net.URL; import java.util.List; impor

所以我正试图做一个刮刀作为我的第一个项目。我是个新手,我并不真正理解我写的代码。虽然我不明白,但eclipse中似乎没有任何错误

我编写的代码假设读取html源文件,并将其逐行添加到数组列表中,直到无法读取为止,然后返回列表。我真的不知道它是否简单,但我不知道为什么它不起作用

import java.util.ArrayList;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.List;
import java.io.BufferedReader;



public class Scraper {
    public static void main(String [] args)throws Exception{

        get_url_source("https://statsroyale.com/clan/99VUU8Y");
}

    public static List<String> get_url_source(String URL)throws Exception {

        List <String> source = new ArrayList <>();

        URL stats = new URL("https://statsroyale.com/clan/99VUU8Y");
        BufferedReader in = new BufferedReader(new InputStreamReader(stats.openStream()));

        String inputLine;
        while ((inputLine = in.readLine()) != null)
            source.add(inputLine);

        return source;
  }
}       

该站点正在检查您的用户代理,以查看是否被机器人程序访问, 要欺骗站点,使其认为您是普通用户,您必须更改用户代理 这样:

    URL stats = new URL("https://statsroyale.com/clan/99VUU8Y");

    HttpsURLConnection statsConnection = (HttpsURLConnection) stats.openConnection();
    statsConnection.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");
    statsConnection.connect();

    BufferedReader in = new BufferedReader(new InputStreamReader(statsConnection.getInputStream()));

该站点正在检查您的用户代理,以查看是否被机器人程序访问, 要欺骗站点,使其认为您是普通用户,您必须更改用户代理 这样:

    URL stats = new URL("https://statsroyale.com/clan/99VUU8Y");

    HttpsURLConnection statsConnection = (HttpsURLConnection) stats.openConnection();
    statsConnection.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");
    statsConnection.connect();

    BufferedReader in = new BufferedReader(new InputStreamReader(statsConnection.getInputStream()));
什么是403错误-请参阅什么是403错误-请参阅