Apache spark 如果在更改spark-env.sh或spark默认值后运行spark on Thread,是否需要重新启动节点?
我正在修改spark的conf,以限制spark结构化流日志文件的日志。我已经计算出这样做的属性,但它现在不起作用。我是否需要重新启动所有节点(名称和工作节点),或者重新启动作业就足够了。Apache spark 如果在更改spark-env.sh或spark默认值后运行spark on Thread,是否需要重新启动节点?,apache-spark,spark-streaming,yarn,google-cloud-dataproc,dataproc,Apache Spark,Spark Streaming,Yarn,Google Cloud Dataproc,Dataproc,我正在修改spark的conf,以限制spark结构化流日志文件的日志。我已经计算出这样做的属性,但它现在不起作用。我是否需要重新启动所有节点(名称和工作节点),或者重新启动作业就足够了。 我们正在使用google dataproc群集并运行spark with Thread。最简单的方法是在群集创建期间使用以下方法设置这些属性: gcloud dataproc集群创建$CLUSTER\u NAME\ --性能火花:=,纱线:= 或者在提交Spark应用程序时设置这些属性。最简单的方法是在群集
我们正在使用google dataproc群集并运行spark with Thread。最简单的方法是在群集创建期间使用以下方法设置这些属性:
gcloud dataproc集群创建$CLUSTER\u NAME\
--性能火花:=,纱线:=
或者在提交Spark应用程序时设置这些属性。最简单的方法是在群集创建期间使用以下方法设置这些属性:
gcloud dataproc集群创建$CLUSTER\u NAME\
--性能火花:=,纱线:=
或者在提交Spark应用程序时设置它们。您需要重新启动正在运行的应用程序,以便选择更新的值。请提供您所做更改的更多详细信息?你是怎么提交申请的。。正常的应用程序重启已经足够了。您需要重启正在运行的应用程序才能选择更新的值。请提供您所做更改的更多详细信息?你是怎么提交申请的。。正常的应用程序重启就足够了