Java 用图形处理大量数据

Java 用图形处理大量数据,java,graph,Java,Graph,我有一个只抓取一个网站的爬虫。但是一个网站可以有上千个页面。 每个页面都是一个顶点,为此我使用了JGraphT 但是如果我在一个巨大的网站上爬行,过一会儿我会得到一个StackOverflowError 在这种情况下,如何处理大量数据? 我必须使用数据库吗? 有一个库可以处理数据库中这种特定类型的数据(顶点、边等) 感谢您,您可能想使用这是一个高性能的NOSQL图形数据库。您可以查看以下内容: 如果你接受了对你有帮助的答案,那就太好了。

我有一个只抓取一个网站的爬虫。但是一个网站可以有上千个页面。 每个页面都是一个顶点,为此我使用了
JGraphT

但是如果我在一个巨大的网站上爬行,过一会儿我会得到一个
StackOverflowError

在这种情况下,如何处理大量数据? 我必须使用数据库吗? 有一个库可以处理数据库中这种特定类型的数据(顶点、边等)


感谢您,您可能想使用这是一个高性能的NOSQL图形数据库。

您可以查看以下内容:


  • 如果你接受了对你有帮助的答案,那就太好了。