Apache spark 尝试蒙特卡罗方法的GCP时出错

Apache spark 尝试蒙特卡罗方法的GCP时出错,apache-spark,google-cloud-platform,montecarlo,google-cloud-dataproc,Apache Spark,Google Cloud Platform,Montecarlo,Google Cloud Dataproc,当我试图更改GCP的错误记录时,我不理解为什么会出现以下错误 写入/etc/spark/conf/log4j.properties时出错:没有这样的文件或目录 我是GCP新手,希望学习如何使用它,但显然,无论我遵循哪一个教程,我总是会出错。有什么好的教程可以推荐吗 下面是我尝试过的教程,以及GCP文档中的更多内容 非常感谢您的帮助。Dataproc没有默认的log4j.properties,而是在/etc/spark/conf/log4j.properties.template上有一个模板示例文

当我试图更改GCP的错误记录时,我不理解为什么会出现以下错误

写入/etc/spark/conf/log4j.properties时出错:没有这样的文件或目录

我是GCP新手,希望学习如何使用它,但显然,无论我遵循哪一个教程,我总是会出错。有什么好的教程可以推荐吗

下面是我尝试过的教程,以及GCP文档中的更多内容


非常感谢您的帮助。

Dataproc没有默认的log4j.properties,而是在/etc/spark/conf/log4j.properties.template上有一个模板示例文件。您可以复制模板并对其进行修改:

sudo cp /etc/spark/conf/log4j.properties.template /etc/spark/conf/log4j.properties
例如,设置log4j.logger.org.apache.spark.repl.Main=DEBUG。然后,再次运行spark shell


请注意,如果您使用本教程中的gcloud Next steps提交spark作业,您可以改为使用-driver log levels:

来设置日志级别。您可以添加用于编辑此文件的命令吗?在ssh到主节点后,您可以使用$sudo nano/etc/spark/conf/log4j.properties命令查看该文件吗?