Apache spark 在ApacheSpark中,在spark中启用了DynamicExecutor的情况下,ApacheIgnite如何在所有工作节点上部署自己

Apache spark 在ApacheSpark中,在spark中启用了DynamicExecutor的情况下,ApacheIgnite如何在所有工作节点上部署自己,apache-spark,ignite,Apache Spark,Ignite,我浏览了IgniteContext的代码,所有执行器节点上的模式都是deploy ignite,我发现在spark context parallize方法的帮助下,ignite实例在所有执行器内部部署,ignite实例使用spark事件侦听器停止(即在应用程序端)。我无法确定ignite是否部署在动态添加的spark执行器上?我在上下文中找不到任何这样的代码。有人能对此发表评论吗?检查了ignite代码,发现ignite在所有执行器节点上执行任务。如果尚未部署在spark的executor节点上

我浏览了IgniteContext的代码,所有执行器节点上的模式都是deploy ignite,我发现在spark context parallize方法的帮助下,ignite实例在所有执行器内部部署,ignite实例使用spark事件侦听器停止(即在应用程序端)。我无法确定ignite是否部署在动态添加的spark执行器上?我在上下文中找不到任何这样的代码。有人能对此发表评论吗?

检查了ignite代码,发现ignite在所有执行器节点上执行任务。如果尚未部署在spark的executor节点上,则该任务将部署ignite


此外,它还附加了一个事件侦听器,以检查是否生成了新的executor节点,以及是否再次生成在该节点上运行相同的任务。在应用程序端,它停止ignite实例。

检查ignite代码,以确定ignite在所有执行器节点上执行任务。如果尚未部署在spark的executor节点上,则该任务将部署ignite

此外,它还附加了一个事件侦听器,以检查是否生成了新的executor节点,以及是否再次生成在该节点上运行相同的任务。在应用程序端,它停止ignite实例