Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/329.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java jsoup没有刮除所有元素? jsoup_Java_Web Scraping_Jsoup - Fatal编程技术网

Java jsoup没有刮除所有元素? jsoup

Java jsoup没有刮除所有元素? jsoup,java,web-scraping,jsoup,Java,Web Scraping,Jsoup,当从包含200个元素的网站上抓取数据时,输出的只是200个元素中的前49或50个元素,为什么? -我怎样才能解决这个问题。要获取所有200个元素的数据`` Document d = Jsoup.connect("https://www.ebay.com/sch/i.html?_from=R40&_trksid=p2047675.m570.l1313.TR0.TRC0.H0.Xsilver.TRS0&_nkw=silver&_sacat=0").timeout(6000).

当从包含200个元素的网站上抓取数据时,输出的只是200个元素中的前49或50个元素,为什么? -我怎样才能解决这个问题。要获取所有200个元素的数据``

Document d = Jsoup.connect("https://www.ebay.com/sch/i.html?_from=R40&_trksid=p2047675.m570.l1313.TR0.TRC0.H0.Xsilver.TRS0&_nkw=silver&_sacat=0").timeout(6000).get();
Elements ele = d.select("div#ResultSetItems");

for (Element element : ele.select("li.shic")) {
    String img_url = element.select("li").attr("listingid");
    System.out.println(img_url);
}

其他元素由Javascript按需获取,这在当今很常见,因此JSoup看不到它们。没有办法让JSoup执行这些抓取,因此您必须想出一种比抓取更好的方法来获取数据。我建议您看看。

一些网站正在使用javascript生成一些页面内容。Jsoup不运行Java脚本。您可以尝试使用Selenium获取页面。Selenium将自动运行Java脚本。之后,您可以使用Jsoup的输出。我这样做了,但没有使用Jsoup,而是使用长代码,加载网站html并逐行匹配键,然后获取数据,但这需要很长时间。。易趣有合法途径吗??你所说的ebay API选项是什么意思??对不起,我是说eBay期望的方式。它甚至是免费的!对不起,我不知道如何使用易趣APIebay API能帮助我从其页面和产品中抓取或获取数据吗?它是抓取的替代品,正如您发现的,在您的情况下,它不起作用。如果你不知道如何使用它,那么我想你必须学会它。你能给我发一张图坦卡蒙纸,在我的问题上为我服务吗