使用Java中的JSOUP从网站获取特定数据?
我是HTML/CSS初学者,所以我对选择器(cssQuery)知之甚少…我只想获得链接中图片中红色矩形中的特定数据。请帮帮我,提前谢谢 格式:使用Java中的JSOUP从网站获取特定数据?,java,android,jsoup,Java,Android,Jsoup,我是HTML/CSS初学者,所以我对选择器(cssQuery)知之甚少…我只想获得链接中图片中红色矩形中的特定数据。请帮帮我,提前谢谢 格式:标题、URL、位置、内容 代码如下: public class TestJSOUP { public static void main(String[] args) throws Exception{ Document doc = Jsoup.connect("http://scholarship-positions.com/cat
标题、URL、位置、内容 代码如下:
public class TestJSOUP {
public static void main(String[] args) throws Exception{
Document doc = Jsoup.connect("http://scholarship-positions.com/category/under-graduate-scholarship/").get();
Elements body = doc.getElementsByTag("a");
for (Element b : body) {
System.out.println(b.attr("href"));
System.out.println(b.text());
}
}
}
这是图片-
此网站限制爬虫。因此,您需要像下面这样指定UserAgent
Document doc = Jsoup.connect("http://scholarship-positions.com/category/under-graduate-scholarship/")
.userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36")
.get();
Elements es = doc.select("article");
for (Element b : es) {
String title = b.select("a[href], [title]").get(0).text();
String url = b.select("a[href]").get(0).attr("href");
String place = b.select("li.custom-fields-ak-organization").get(0).text();
String content = b.select("section.entry").get(0).text();
System.out.println(title + url + place + content);
}
哇,谢谢你,先生。这真的很有帮助。。。。。。但是有些标题丢失了,你知道为什么吗?你好@Spirit\u Dongdong,你能告诉我一些像以前一样从这个网站检索数据的方法吗。Thanksu可以根据元素名、类或属性检索数据