Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/google-sheets/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如果在更改spark-env.sh或spark默认值后运行spark on Thread,是否需要重新启动节点?_Apache Spark_Spark Streaming_Yarn_Google Cloud Dataproc_Dataproc - Fatal编程技术网

Apache spark 如果在更改spark-env.sh或spark默认值后运行spark on Thread,是否需要重新启动节点?

Apache spark 如果在更改spark-env.sh或spark默认值后运行spark on Thread,是否需要重新启动节点?,apache-spark,spark-streaming,yarn,google-cloud-dataproc,dataproc,Apache Spark,Spark Streaming,Yarn,Google Cloud Dataproc,Dataproc,我正在修改spark的conf,以限制spark结构化流日志文件的日志。我已经计算出这样做的属性,但它现在不起作用。我是否需要重新启动所有节点(名称和工作节点),或者重新启动作业就足够了。 我们正在使用google dataproc群集并运行spark with Thread。最简单的方法是在群集创建期间使用以下方法设置这些属性: gcloud dataproc集群创建$CLUSTER\u NAME\ --性能火花:=,纱线:= 或者在提交Spark应用程序时设置这些属性。最简单的方法是在群集

我正在修改spark的conf,以限制spark结构化流日志文件的日志。我已经计算出这样做的属性,但它现在不起作用。我是否需要重新启动所有节点(名称和工作节点),或者重新启动作业就足够了。
我们正在使用google dataproc群集并运行spark with Thread。

最简单的方法是在群集创建期间使用以下方法设置这些属性:

gcloud dataproc集群创建$CLUSTER\u NAME\
--性能火花:=,纱线:=

或者在提交Spark应用程序时设置这些属性。

最简单的方法是在群集创建期间使用以下方法设置这些属性:

gcloud dataproc集群创建$CLUSTER\u NAME\
--性能火花:=,纱线:=

或者在提交Spark应用程序时设置它们。

您需要重新启动正在运行的应用程序,以便选择更新的值。请提供您所做更改的更多详细信息?你是怎么提交申请的。。正常的应用程序重启已经足够了。您需要重启正在运行的应用程序才能选择更新的值。请提供您所做更改的更多详细信息?你是怎么提交申请的。。正常的应用程序重启就足够了