Google cloud platform Google Cloud Dataproc:群集创建错误(debconf DbDriver config.dat已锁定)

Google cloud platform Google Cloud Dataproc:群集创建错误(debconf DbDriver config.dat已锁定),google-cloud-platform,google-cloud-dataproc,Google Cloud Platform,Google Cloud Dataproc,最近,我在尝试在GCP中创建dataproc集群时偶尔遇到错误。创建命令类似于: gcloud dataproc clusters create ${CLUSTER_NAME} \ --zone "us-east1-b" \ --master-machine-type "n1-standard-16" \ --master-boot-disk-size 150 \ --num-workers ${WORKER_NODE_COUNT:-9}

最近,我在尝试在GCP中创建dataproc集群时偶尔遇到错误。创建命令类似于:

gcloud dataproc clusters create ${CLUSTER_NAME} \
       --zone "us-east1-b" \
       --master-machine-type "n1-standard-16" \
       --master-boot-disk-size 150 \
       --num-workers ${WORKER_NODE_COUNT:-9} \
       --worker-machine-type "n1-standard-16" \
       --worker-boot-disk-size 25 \
       --project ${PROJECT_NAME}  \
       --properties 'yarn:yarn.log-aggregation-enable=true'
非常间歇性地,我收到的错误是:

ERROR: (gcloud.dataproc.clusters.create) Operation [projects/PROJECT/regions/global/operations/UUID] failed: Multiple Errors:
- Failed to initialize node random-name-m. See output in: gs://dataproc-UUID-us/google-cloud-dataproc-metainfo/UUID/random-name-m/dataproc-startup-script_output
- Failed to initialize node random-name-w-0. See output in: gs://dataproc-UUID-us/google-cloud-dataproc-metainfo/UUID/random-name-w-0/dataproc-startup-script_output
- Failed to initialize node random-name-w-1. See output in: gs://dataproc-UUID-us/google-cloud-dataproc-metainfo/UUID/random-name-w-1/dataproc-startup-script_output
- Worker random-name-w-8 unable to register with master random-name-m. This could be because it is offline, or network is misconfigured..
Google存储桶输出文件(dataproc-startup-script_输出)的最后几行是:


这一个真的开始烦我了!非常感谢您的任何想法/想法/决议

这个问题的修复将在下周发布的过程中推出。 您可以在此处查看发行说明以查看修复程序何时推出:

大部分被删掉的内容都是潜在有用的信息。请分享工作人员数量、节点大小、磁盘大小、区域等信息。还有,这种情况发生的频率有多高?您能否
集群描述
集群并共享imageVersion?感谢您的建议-我已经更新了我的问题。当前集群是
imageVersion:1.2.45-deb8
您能否详细说明:-问题是什么具体的解决方案是什么?谢谢当然:当Dataproc创建集群时,它会在每个节点上运行一个启动脚本,并行初始化集群上的许多服务。因此,有时config.dat会被另一个进程锁定。修复并不是什么花哨的事情——如果另一个进程有锁,我们只需通过一些回退重试debconf set选择。在这个特定的例子中,当我们在工作节点上卸载mariadb时,我们使用debconf集合选择来通过一些提示。该问题于10月5日解决。
+ debconf-set-selections
debconf: DbDriver "config": /var/cache/debconf/config.dat is locked by another process: Resource temporarily unavailable
++ logstacktrace
++ local err=1
++ local code=1
++ set +o xtrace
ERROR: 'debconf-set-selections' exited with status 1
Call tree:
 0: /usr/local/share/google/dataproc/startup-script-cloud_datarefinery_image_20180803_nightly-RC04.sh:490 main
Exiting with status 1