Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 火花作业用纱线执行器_Hadoop_Apache Spark_Yarn - Fatal编程技术网

Hadoop 火花作业用纱线执行器

Hadoop 火花作业用纱线执行器,hadoop,apache-spark,yarn,Hadoop,Apache Spark,Yarn,这就是我如何执行我的火花罐纱线集群。下面是一些问题 这是由执行人处理的吗?(每1个纱线执行器提交1个火花?) 我应该如何同时执行多火花作业?(我应该在哪里设置动态分配(spark.dynamicAllocation.enabled)?) 我应该在哪里设置执行器配置的数量?在java代码中?在xml中 若我将执行器的数量设置为2,并处理单个作业,其中一个执行器将什么也不做 我不需要为此做任何事。它是自动分配的 为什么使用此方法启动spark应用程序?你可以用spark submit来代替另一件事,

这就是我如何执行我的火花罐纱线集群。下面是一些问题

  • 这是由执行人处理的吗?(每1个纱线执行器提交1个火花?)
  • 我应该如何同时执行多火花作业?(我应该在哪里设置动态分配(spark.dynamicAllocation.enabled)?)
  • 我应该在哪里设置执行器配置的数量?在java代码中?在xml中
  • 若我将执行器的数量设置为2,并处理单个作业,其中一个执行器将什么也不做

  • 我不需要为此做任何事。它是自动分配的


    为什么使用此方法启动spark应用程序?你可以用spark submit来代替
    另一件事,我认为您应该首先阅读spark文档以了解spar executor。使用spark运行jar文件并不意味着它是否在一个执行器上运行。如果有将启动执行器的映射作业,则应该深入研究使用spark(数据输入大小)的代码。请检查spark文档并完善您的问题
    Process spark = new SparkLauncher()
    .setAppResource("myApp.jar")
    .setMainClass("com.aa.bb.app")
    .setMaster("yarn")
    .setDeployMode( "cluster")
    .addAppArgs( data)
    .launch();