用Java编写Spark独立程序的环境/工具是什么?
我想用Java实现一个独立的Spark程序。我正在使用Amazon集群来运行应用程序。由于我是初学者,我想知道哪种环境是编写Spark程序的最佳环境。它还提供调试功能吗? 目前,我正在本地机器上用Eclipse编写程序,并通过Maven Vang将JAR导出到AWS。问题是我无法使用调试。用Java编写Spark独立程序的环境/工具是什么?,java,eclipse,bigdata,apache-spark,Java,Eclipse,Bigdata,Apache Spark,我想用Java实现一个独立的Spark程序。我正在使用Amazon集群来运行应用程序。由于我是初学者,我想知道哪种环境是编写Spark程序的最佳环境。它还提供调试功能吗? 目前,我正在本地机器上用Eclipse编写程序,并通过Maven Vang将JAR导出到AWS。问题是我无法使用调试。 感谢您的帮助 如果在本地模式下运行,可以在eclipse中调试它。创建一个类似新JavaSparkContextlocal[*]的JavaSparkContext,我的应用程序将以本地模式运行你的应用程序。你
感谢您的帮助 如果在本地模式下运行,可以在eclipse中调试它。创建一个类似新JavaSparkContextlocal[*]的JavaSparkContext,我的应用程序将以本地模式运行你的应用程序。你不需要在本地计算机上安装spark。只需在项目POM中添加Spark、scala依赖项并在eclipse中进行调试。在Confing中传递local,如下所示,您可以调试代码
SparkConf SparkConf=new SparkConf.setMasterlocal.setAppNameApplication Name感谢您的回复。我只需要一个简短的澄清:我必须在本地机器上安装Spark吗?我记得我可以在Mac或Ubuntu的IDE中直接运行本地应用程序。不太清楚Windows。我有一台Windows机器。我会尝试运行它并让您知道。再次感谢!