如何使用eclipse在本地完全测试Spark程序,使相同的代码可以在集群上工作,而无需任何代码更改?

如何使用eclipse在本地完全测试Spark程序,使相同的代码可以在集群上工作,而无需任何代码更改?,eclipse,apache-spark,Eclipse,Apache Spark,我知道可以使用Eclipse在本地运行Spark程序,方法是使用newsparkconf().setMaster(“local[*])。然而,在本地运行良好的程序可能需要一些小的更改才能在集群上运行。例如,在集群上运行progam可能需要广播变量和累加器的代码,但如果在本地没有这些变量和累加器,它就可以正常工作。有没有一种方法可以让我们在本地完全测试代码,以便相同的代码在集群上运行find而不做任何更改?我已经通过下面列出的链接,但我问的是不同的。谢谢

我知道可以使用Eclipse在本地运行Spark程序,方法是使用
newsparkconf().setMaster(“local[*])
。然而,在本地运行良好的程序可能需要一些小的更改才能在集群上运行。例如,在集群上运行progam可能需要广播变量和累加器的代码,但如果在本地没有这些变量和累加器,它就可以正常工作。有没有一种方法可以让我们在本地完全测试代码,以便相同的代码在集群上运行find而不做任何更改?我已经通过下面列出的链接,但我问的是不同的。谢谢