Java 在Amazon EMR上从开发人员机器启动Apache Spark作业

Java 在Amazon EMR上从开发人员机器启动Apache Spark作业,java,amazon-web-services,apache-spark,Java,Amazon Web Services,Apache Spark,我目前拥有的: Spark cluster在Amazon的EMR(EMR-4.7.2)上运行 使用动态端口转发将SSH隧道连接到主节点 Spark应用程序(我使用JAVA)使用以下配置从IDE(IntelliJ IDEA)本地运行: SparkConf sparkConf = new SparkConf() .setAppName("Example Spark App") .setMaster("local"); 问题: 甚至可以在客户端模式下使用集群,而

我目前拥有的:

  • Spark cluster在Amazon的EMR(EMR-4.7.2)上运行
  • 使用动态端口转发将SSH隧道连接到主节点
  • Spark应用程序(我使用JAVA)使用以下配置从IDE(IntelliJ IDEA)本地运行:

    SparkConf sparkConf = new SparkConf()
            .setAppName("Example Spark App")
            .setMaster("local");
    
问题:

甚至可以在客户端模式下使用集群,而驱动程序应用程序将在我的开发机器上运行,并且我想从IDE运行它吗?我尝试了
.setMaster(“纱线客户端”)
,但没有成功(“无法加载纱线支持”)