通过处理数百万条记录的java集合进行数据处理。

我想在java集合中获取大量数据，这些数据是从nosql数据库上的查询返回的。场景是我在使用cassandra进行研究工作，在这种情况下，我必须对cassandra进行查询，它将返回500万条记录，然后我必须使用这些500万条记录查询其他数据库，例如neo4j，它将返回最终结果集。如何在java的任何集合中获得500万条数据记录，在这种情况下，什么是最有效的解决方案。提前感谢：）

为什么你认为500万美元会达到任何限制？每个Java集合都可以容纳那么多，然后是一些，唯一的限制是堆大小。我在cassandra数据库中有1亿条记录，我将运行一些查询来过滤数据，并提供至少500万条记录。我希望java以最小的内存使用量处理这些大量的记录。使用内存的是查询结果，而不是集合的内部。除非您只检索

Integer

s或类似内容。@MarkoTopolnik谢谢您的回复。对于这种情况，您还推荐其他解决方案吗？自然的方法是不一次检索所有元素，而是将它们分块接收，然后针对每个块分别向第二个数据库发出查询。