Java 当试图抓取google时,jsoup返回了太多的请求错误
我试图用jsoup来抓取google,我每10秒抓取一次,但在抓取了一段时间后,它给了我“org.jsoup.HttpStatusException:HTTP error fetching URL.Status=429”,这意味着我提出了太多的请求,但我每10秒只抓取一次 现在,每当我尝试刮取它时,它都返回“null”,这意味着它给了我太多的请求错误,不再让我刮取。我甚至尝试等待10分钟,然后再尝试刮,但它仍然给出了太多的请求错误。我该如何解决这个问题 MainActivity.java: tuna.java:Java 当试图抓取google时,jsoup返回了太多的请求错误,java,android-studio,web-scraping,request,jsoup,Java,Android Studio,Web Scraping,Request,Jsoup,我试图用jsoup来抓取google,我每10秒抓取一次,但在抓取了一段时间后,它给了我“org.jsoup.HttpStatusException:HTTP error fetching URL.Status=429”,这意味着我提出了太多的请求,但我每10秒只抓取一次 现在,每当我尝试刮取它时,它都返回“null”,这意味着它给了我太多的请求错误,不再让我刮取。我甚至尝试等待10分钟,然后再尝试刮,但它仍然给出了太多的请求错误。我该如何解决这个问题 MainActivity.java: tu
你可以试着提出更少的请求。。。?在我看来,每10秒抓取任何网站(包括google.com)都是一种虐待。@SeanBright Ok,但我现在该怎么办?什么时候能让我再刮一次?因为已经有20分钟了。@SeanBright谷歌允许你每分钟发出多少个请求而不会抛出太多的请求错误?这是否回答了你的问题@SeanBright不是蟒蛇吗?我在android工作室使用java。
public String getContent(String link) throws InterruptedException, IOException {
tuna tuna = new tuna(link);
Thread thread = new Thread(tuna);
thread.start();
thread.join();
String value = tuna.getValue();
}
String link = "www.google.com";
string content = getContent(link);
public class tuna implements Runnable {
String link;
Document doc;
String content;
public tuna (String x) throws IOException {
link = x;
}
public void run() {
try {
doc = Jsoup.connect(link).get();
content = doc.html();
} catch (IOException e) {
e.printStackTrace();
}
}
public String getValue() {
String returnContent = content;
return returnContent;
}
}