未找到文件/dataproc/v1/PropertiesValue.yaml
我编写yaml是为了从yaml文件实例化DataProc集群。我想在集群中添加lzo压缩,以便覆盖文件中的属性。到目前为止,我编写的YAML文件如下:未找到文件/dataproc/v1/PropertiesValue.yaml,yaml,google-cloud-dataproc,Yaml,Google Cloud Dataproc,我编写yaml是为了从yaml文件实例化DataProc集群。我想在集群中添加lzo压缩,以便覆盖文件中的属性。到目前为止,我编写的YAML文件如下: placement: managedCluster: clusterName: batch-job config: gceClusterConfig: zoneUri: asia-south1-a masterConfig: diskConfig: b
placement:
managedCluster:
clusterName: batch-job
config:
gceClusterConfig:
zoneUri: asia-south1-a
masterConfig:
diskConfig:
bootDiskSizeGb: 15
bootDiskType: pd-standard
machineTypeUri: n1-standard-4
softwareConfig:
imageVersion: 1.4-ubuntu18
properties:
core:io.compression.codecs: org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec
core:io.compression.codec.lzo: com.hadoop.compression.lzo.LzoCodec
workerConfig:
diskConfig:
bootDiskSizeGb: 15
machineTypeUri: n1-standard-4
numInstances: 2
当我尝试使用命令运行此文件时
gcloud dataproc workflow-templates instantiate-from-file --file ${FILE_NAME}
我听到一个错误的说法
ERROR: (gcloud.dataproc.workflow-templates.instantiate-from-file) File not found /usr/local/Caskroom/google-cloud-sdk/latest/google-cloud-sdk/lib/googlecloudsdk/schemas/dataproc/v1/PropertiesValue.yaml
我检查了这个路径,它有YAML的验证文件,但是PropertiesValue.YAML文件不存在。在SoftwareConfig.yaml文件中,他们说properties标签ref是PropertiesValue.yaml文件
如果我遗漏了什么,请帮帮我 文件googlecloudsdk/schemas/dataproc/v1/PropertiesValue.yaml确实丢失了。这是一个可以在此处跟踪的错误:
显然,当gclouddataproc从使用v1beta2api切换到v1时,这个bug是在谷歌云SDK的262版中引入的
至少有两种解决方法:
a使用谷歌云SDK 261版
b将文件googlecloudsdk/schemas/compute/alpha/PropertiesValue.yaml复制到缺少的位置,见上文。该文件是通用键/值映射的模式,不特定于Compute或Dataproc。具体路径取决于您的安装方法和操作系统,请与错误消息进行比较。文件googlecloudsdk/schemas/dataproc/v1/PropertiesValue.yaml确实缺失。这是一个可以在此处跟踪的错误:
显然,当gclouddataproc从使用v1beta2api切换到v1时,这个bug是在谷歌云SDK的262版中引入的
至少有两种解决方法:
a使用谷歌云SDK 261版
b将文件googlecloudsdk/schemas/compute/alpha/PropertiesValue.yaml复制到缺少的位置,见上文。该文件是通用键/值映射的模式,不特定于Compute或Dataproc。具体路径取决于您的安装方法和操作系统,请与错误消息进行比较。对此表示抱歉
我在bug中也做了说明,但作为临时解决方法,您可以使用gcloud beta版的命令,它没有问题。gcloud beta dataproc工作流模板从文件实例化-文件${file_NAME}
我们的目标是在下周或下周发布的下一个gcloud版本中修复此问题。对此表示抱歉
我在bug中也做了说明,但作为临时解决方法,您可以使用gcloud beta版的命令,它没有问题。gcloud beta dataproc工作流模板从文件实例化-文件${file_NAME}
我们的目标是在下一两周的下一个gcloud版本中解决这个问题