Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/eclipse/9.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
用Java编写Spark独立程序的环境/工具是什么?_Java_Eclipse_Bigdata_Apache Spark - Fatal编程技术网

用Java编写Spark独立程序的环境/工具是什么?

用Java编写Spark独立程序的环境/工具是什么?,java,eclipse,bigdata,apache-spark,Java,Eclipse,Bigdata,Apache Spark,我想用Java实现一个独立的Spark程序。我正在使用Amazon集群来运行应用程序。由于我是初学者,我想知道哪种环境是编写Spark程序的最佳环境。它还提供调试功能吗? 目前,我正在本地机器上用Eclipse编写程序,并通过Maven Vang将JAR导出到AWS。问题是我无法使用调试。 感谢您的帮助 如果在本地模式下运行,可以在eclipse中调试它。创建一个类似新JavaSparkContextlocal[*]的JavaSparkContext,我的应用程序将以本地模式运行你的应用程序。你

我想用Java实现一个独立的Spark程序。我正在使用Amazon集群来运行应用程序。由于我是初学者,我想知道哪种环境是编写Spark程序的最佳环境。它还提供调试功能吗? 目前,我正在本地机器上用Eclipse编写程序,并通过Maven Vang将JAR导出到AWS。问题是我无法使用调试。
感谢您的帮助

如果在本地模式下运行,可以在eclipse中调试它。创建一个类似新JavaSparkContextlocal[*]的JavaSparkContext,我的应用程序将以本地模式运行你的应用程序。

你不需要在本地计算机上安装spark。只需在项目POM中添加Spark、scala依赖项并在eclipse中进行调试。在Confing中传递local,如下所示,您可以调试代码


SparkConf SparkConf=new SparkConf.setMasterlocal.setAppNameApplication Name

感谢您的回复。我只需要一个简短的澄清:我必须在本地机器上安装Spark吗?我记得我可以在Mac或Ubuntu的IDE中直接运行本地应用程序。不太清楚Windows。我有一台Windows机器。我会尝试运行它并让您知道。再次感谢!