Java 在Amazon EMR上从开发人员机器启动Apache Spark作业
我目前拥有的:Java 在Amazon EMR上从开发人员机器启动Apache Spark作业,java,amazon-web-services,apache-spark,Java,Amazon Web Services,Apache Spark,我目前拥有的: Spark cluster在Amazon的EMR(EMR-4.7.2)上运行 使用动态端口转发将SSH隧道连接到主节点 Spark应用程序(我使用JAVA)使用以下配置从IDE(IntelliJ IDEA)本地运行: SparkConf sparkConf = new SparkConf() .setAppName("Example Spark App") .setMaster("local"); 问题: 甚至可以在客户端模式下使用集群,而
- Spark cluster在Amazon的EMR(EMR-4.7.2)上运行
- 使用动态端口转发将SSH隧道连接到主节点李>
- Spark应用程序(我使用JAVA)使用以下配置从IDE(IntelliJ IDEA)本地运行:
SparkConf sparkConf = new SparkConf() .setAppName("Example Spark App") .setMaster("local");
.setMaster(“纱线客户端”)
,但没有成功(“无法加载纱线支持”)