Apache spark 如何在集群中的选定节点上执行一些指令?

Apache spark 如何在集群中的选定节点上执行一些指令?,apache-spark,Apache Spark,我没有任何RDD可供使用,我只想使用ApacheSpark在集群的一些节点上执行我自己的一些函数。因此,我没有任何数据要分发,只有代码(,这取决于执行它的节点) 可能吗?Spark是否与此目标兼容 可能吗 我认为这是可能的,我已经被问了好几次了(所以我有时间考虑一下:) Spark是否与此目标兼容 Spark可以处理它的方式是启动尽可能多的执行器,只要您想使用节点进行分布式工作。这是群集管理器的工作,将工作分散到节点群集上,因此Spark只能使用给定的节点 分配了节点后,您只需在伪数据集上执行一

我没有任何RDD可供使用,我只想使用ApacheSpark在集群的一些节点上执行我自己的一些函数。因此,我没有任何数据要分发,只有代码(,这取决于执行它的节点)

可能吗?Spark是否与此目标兼容

可能吗

我认为这是可能的,我已经被问了好几次了(所以我有时间考虑一下:)

Spark是否与此目标兼容

Spark可以处理它的方式是启动尽可能多的执行器,只要您想使用节点进行分布式工作。这是群集管理器的工作,将工作分散到节点群集上,因此Spark只能使用给定的节点

分配了节点后,您只需在伪数据集上执行一个计算,以在其上构建RDD

如果计算在不应使用的节点上运行,您可以在代码中查看您所在的节点并决定是继续还是停止


您甚至可以从数据库中读取要执行的代码(已经看到类似的解决方案)。

如果没有数据,您的代码将做什么?我现在不明白为什么你想用Spark来做一些不涉及数据的事情。