Google cloud platform Dataproc群集无法初始化

使用标准的dataproc映像1.5（Debian 10、Hadoop 2.10、Spark 2.4），无法创建dataproc集群。区域设置为

europe-west-2

堆栈驱动程序日志显示：

"Failed to initialize node <name of cluster>-m: Component hdfs failed to activate See output in: gs://.../dataproc-startup-script_output"

我错过了什么

编辑

---

正如@Dagang所建议的，我用ssh连接到主节点并运行

grep“activate component hdfs”/var/log/dataproc startup script.log

。输出是。

所以问题是有一个名为“pete{”的用户名，

hadoop fs-mkdir-p

命令在该用户名上失败。这些带有特殊字符的用户名，特别是开括号e，g，“（）[]{}”可能会在集群创建期间使HDFS激活步骤失败

---

因此，简单的解决方案就是删除那些意外创建的用户。

几个问题：是否以一致的方式发生？集群的大小以及您使用的机器是什么？是否添加了任何其他初始化操作？为此，我使用所有默认选项，除了图像。

n1-standard-4

用于主节点和2个辅助节点。所有节点使用500GB标准永久磁盘。无自定义初始化。默认映像为1.3版，但我想使用1.5版。我尝试了几次，但都失败了，出现了相同的错误。您应该能够在日志中找到失败原因，只需通过“激活组件hdfs”进行筛选。您也可以ssh到主节点，然后运行

/var/log/dataproc startup script.log

。我尝试过，但无法重现1.5.Hi@tak的问题，恐怕我无法在1.5群集上重现。您可以将大港询问的日志添加到问题中吗？我们应该从何处删除此用户？我们面临类似的问题问题，但我们在IAM中没有这些用户。

Aug 18 13:21:59 activate-component-hdfs[2799]: + exit_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -ne 0 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + log_and_fail hdfs 'Component hdfs failed to activate' 1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local component=hdfs
Aug 18 13:21:59 activate-component-hdfs[2799]: + local 'message=Component hdfs failed to activate'
Aug 18 13:21:59 activate-component-hdfs[2799]: + local error_code=1
Aug 18 13:21:59 activate-component-hdfs[2799]: + local client_error_indicator=
Aug 18 13:21:59 activate-component-hdfs[2799]: + [[ 1 -eq 2 ]]
Aug 18 13:21:59 activate-component-hdfs[2799]: + echo 'StructuredError{hdfs, Component hdfs failed to activate}'
Aug 18 13:21:59 activate-component-hdfs[2799]: StructuredError{hdfs, Component hdfs failed to activate}
Aug 18 13:21:59 activate-component-hdfs[2799]: + exit 1