Apache spark 增加warn-site.xml中的warn.scheduler.maximum-allocation-mb值

Apache spark 增加warn-site.xml中的warn.scheduler.maximum-allocation-mb值,apache-spark,machine-learning,pyspark,yarn,oozie,Apache Spark,Machine Learning,Pyspark,Yarn,Oozie,在warn-site.xml中,warn.scheduler.maximum-allocation-mb值设置为143360 mb。我在oozie中运行pyspark作业时出现以下错误。我想在Thread-site.xml中增加它的值,但我没有权限增加它的值 我可以在oozie中设置warn.scheduler.maximum-allocation-mb值吗? 或者将Thread site.xml(从服务器)复制到我的本地/hdfs目录,增加其值,然后在Oozie工作流中调用它 错误: Oozi

在warn-site.xml中,warn.scheduler.maximum-allocation-mb值设置为143360 mb。我在oozie中运行pyspark作业时出现以下错误。我想在Thread-site.xml中增加它的值,但我没有权限增加它的值

我可以在oozie中设置warn.scheduler.maximum-allocation-mb值吗? 或者将Thread site.xml(从服务器)复制到我的本地/hdfs目录,增加其值,然后在Oozie工作流中调用它

错误:

Oozie启动器失败,Main类[org.apache.Oozie.action.hadoop.SparkMain],Main()引发异常,所需的执行器内存(133120+22000 MB)高于此群集的最大阈值(143360 MB)!请检查“Thread.scheduler.maximum allocation mb”和/或“Thread.nodemanager.resource.memory mb”的值。 java.lang.IllegalArgumentException:所需的执行器内存(133120+22000 MB)高于此群集的最大阈值(143360 MB)!请检查“Thread.scheduler.maximum allocation mb”和/或“Thread.nodemanager.resource.memory mb”的值

Oozie workflow :

 <action name="spark-node" cred="hcred">
        <spark xmlns="uri:oozie:spark-action:0.1">
            <job-tracker>${value}</job-tracker>
            <name-node>${value}</name-node>
            <configuration>
                <property>
                    <name>mapreduce.job.queue.name</name>
                    <value>${value}</value>
                </property>
            </configuration>
            <master>yarn</master>
             <mode>cluster</mode>
             <jar>xyz.py</jar>
            <spark-opts>${sparkopts}</spark-opts>
           </spark>
Oozie工作流:
${value}
${value}
mapreduce.job.queue.name
${value}
纱线
簇
xyz.py
${sparkopts}

不,你不能。这是ResourceManager设置,您必须更改其配置,然后重新启动服务以重置该值。不,您不能。这是ResourceManager设置,您必须更改其配置,然后重新启动服务以重置该值。