Scala Google cloud spark上下文无法初始化

Scala Google cloud spark上下文无法初始化,scala,apache-spark,google-cloud-dataproc,Scala,Apache Spark,Google Cloud Dataproc,在Google Cloud的Spark中提交作业突然失败,并显示以下消息: ERROR org.apache.spark.SparkContext:初始化SparkContext时出错。 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException):无法创建目录/user/root/.sparkStaging/application_1461774669718_000

在Google Cloud的Spark中提交作业突然失败,并显示以下消息:

ERROR org.apache.spark.SparkContext:初始化SparkContext时出错。
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException):无法创建目录/user/root/.sparkStaging/application_1461774669718_0005。名称节点处于安全模式。
报告的块0需要额外的194个块才能达到总块194的阈值0.9990。
活动数据节点0的数量已达到最小数量0。一旦达到阈值,安全模式将自动关闭。


我使用的集群工作正常,直到最近,在设置SparkContext的代码中还没有做任何更改。tat安全模式似乎没有被关闭的原因。知道如何调试吗?

如果您使用SSH连接到主节点并键入
hdfs dfsadmin-report
它应该提供数据节点的报告;在您的情况下,听起来可能是什么导致了数据节点变得不健康。如果您有不想公开共享的项目ID或集群名称,可以通过电子邮件发送给dataproc-feedback@google.com为了联系谷歌团队(尽管支持/故障排除是尽了最大努力;需要响应保证的官方支持请求需要通过),您解决了这个问题吗?我也有同样的问题。我曾多次尝试使用不同的配置重新创建群集,但得到的结果是:(我重新启动了所有的云计算机器,并给了它5分钟的时间。它似乎陷入了初始化阶段。啊,是的,我也解决了我的问题。结果我把我的防火墙搞砸了……如果你SSH到主节点并键入
hdfs dfsadmin-report
,它应该提供一个数据节点的报告;在你的情况下,听起来好像有什么事情发生了。)e导致datanodes不正常。如果您有不想公开共享的项目ID或群集名称,可以通过电子邮件发送给dataproc-feedback@google.com联系谷歌团队(尽管支持/故障排除工作已尽最大努力;需要响应保证的官方支持请求将需要通过)你解决了这个问题吗?我也遇到了同样的问题。我用不同的配置多次尝试重新创建集群,但我得到的结果是:(我重新启动了所有云机器,并给了它5分钟。它似乎在初始化阶段卡住了。啊,是的,我也解决了我的问题。结果我把防火墙搞砸了。。。