Ignite apache能否点燃';s共享RDD在嵌入式模式下工作

Ignite apache能否点燃';s共享RDD在嵌入式模式下工作,ignite,Ignite,我真的很喜欢ApacheIgnite的共享RDD for spark。但是,由于限制,我无法将ignite部署到集群节点上。我能使用Ignite的唯一方法是通过带Spark的嵌入式模式 我想知道,在嵌入式模式下,RDD能否通过不同的Spark应用程序共享 我有两份工作: 作业1:生成数据并存储到共享RDD中 作业2:从共享RDD中检索数据,并进行一些计算 可以使用ignite的嵌入式模式完成此任务吗 感谢在嵌入式模式下,Ignite节点在Spark控制下的执行器内启动。话虽如此,在我看来,这种模

我真的很喜欢ApacheIgnite的共享RDD for spark。但是,由于限制,我无法将ignite部署到集群节点上。我能使用Ignite的唯一方法是通过带Spark的嵌入式模式

我想知道,在嵌入式模式下,RDD能否通过不同的Spark应用程序共享

我有两份工作:

作业1:生成数据并存储到共享RDD中 作业2:从共享RDD中检索数据,并进行一些计算

可以使用ignite的嵌入式模式完成此任务吗


感谢

在嵌入式模式下,Ignite节点在Spark控制下的执行器内启动。话虽如此,在我看来,这种模式更多的是出于测试目的——不需要单独部署和启动Ignite,同时能够尝试基本功能。但在实际场景中,很难实现一致性和故障切换保证,因为Spark可以启动和停止执行器,而在嵌入式模式下,执行器实际上保存着数据。我建议您绕过您的限制,确保Ignite可以在独立模式下单独安装