Hadoop 火花作业用纱线执行器
这就是我如何执行我的火花罐纱线集群。下面是一些问题Hadoop 火花作业用纱线执行器,hadoop,apache-spark,yarn,Hadoop,Apache Spark,Yarn,这就是我如何执行我的火花罐纱线集群。下面是一些问题 这是由执行人处理的吗?(每1个纱线执行器提交1个火花?) 我应该如何同时执行多火花作业?(我应该在哪里设置动态分配(spark.dynamicAllocation.enabled)?) 我应该在哪里设置执行器配置的数量?在java代码中?在xml中 若我将执行器的数量设置为2,并处理单个作业,其中一个执行器将什么也不做 我不需要为此做任何事。它是自动分配的 为什么使用此方法启动spark应用程序?你可以用spark submit来代替另一件事,
我不需要为此做任何事。它是自动分配的
为什么使用此方法启动spark应用程序?你可以用spark submit来代替
另一件事,我认为您应该首先阅读spark文档以了解spar executor。使用spark运行jar文件并不意味着它是否在一个执行器上运行。如果有将启动执行器的映射作业,则应该深入研究使用spark(数据输入大小)的代码。请检查spark文档并完善您的问题
Process spark = new SparkLauncher()
.setAppResource("myApp.jar")
.setMainClass("com.aa.bb.app")
.setMaster("yarn")
.setDeployMode( "cluster")
.addAppArgs( data)
.launch();