Apache spark 如何将Ignite队列转换为Spark数据帧？

我们需要获取Ignite队列的内容，该队列将集群中的大型数据集保存为Spark数据帧

目前我们的做法如下

var array: Array[Row] = Array()
array = igniteQueue.toArray(array)

但这会将igniteQueue的所有分布式内容作为一个数组带到单个边缘节点，从而导致溢出异常

有没有一种方法可以将igniteQueue数据获取为Spark数据帧？因此，数据将被分发

提前感谢

检查-这是Spark Ignite集成的主要入口点

由于IgniteRDD是Ignite缓存的实时视图，所以不需要从Ignite显式地将数据加载到Spark应用程序。创建IgniteRDD实例后，可以立即使用所有RDD方法

例如，以下Scala代码将查找包含Ignite一词的所有值：

val cache = igniteContext.fromCache("partitioned")
val result = cache.filter(_._2.contains("Ignite")).collect()

还有，检查一下这个