未找到文件/dataproc/v1/PropertiesValue.yaml

未找到文件/dataproc/v1/PropertiesValue.yaml,yaml,google-cloud-dataproc,Yaml,Google Cloud Dataproc,我编写yaml是为了从yaml文件实例化DataProc集群。我想在集群中添加lzo压缩,以便覆盖文件中的属性。到目前为止,我编写的YAML文件如下: placement: managedCluster: clusterName: batch-job config: gceClusterConfig: zoneUri: asia-south1-a masterConfig: diskConfig: b

我编写yaml是为了从yaml文件实例化DataProc集群。我想在集群中添加lzo压缩,以便覆盖文件中的属性。到目前为止,我编写的YAML文件如下:

placement:
  managedCluster:
    clusterName: batch-job
    config:
      gceClusterConfig:
        zoneUri: asia-south1-a
      masterConfig:
        diskConfig:
          bootDiskSizeGb: 15
          bootDiskType: pd-standard
        machineTypeUri: n1-standard-4
      softwareConfig:
        imageVersion: 1.4-ubuntu18
        properties:
          core:io.compression.codecs: org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec
          core:io.compression.codec.lzo: com.hadoop.compression.lzo.LzoCodec
      workerConfig:
        diskConfig:
          bootDiskSizeGb: 15
        machineTypeUri: n1-standard-4
        numInstances: 2
当我尝试使用命令运行此文件时

 gcloud dataproc workflow-templates instantiate-from-file --file ${FILE_NAME}
我听到一个错误的说法

ERROR: (gcloud.dataproc.workflow-templates.instantiate-from-file) File not found /usr/local/Caskroom/google-cloud-sdk/latest/google-cloud-sdk/lib/googlecloudsdk/schemas/dataproc/v1/PropertiesValue.yaml
我检查了这个路径,它有YAML的验证文件,但是PropertiesValue.YAML文件不存在。在SoftwareConfig.yaml文件中,他们说properties标签ref是PropertiesValue.yaml文件

如果我遗漏了什么,请帮帮我

文件googlecloudsdk/schemas/dataproc/v1/PropertiesValue.yaml确实丢失了。这是一个可以在此处跟踪的错误:

显然,当gclouddataproc从使用v1beta2api切换到v1时,这个bug是在谷歌云SDK的262版中引入的

至少有两种解决方法:

a使用谷歌云SDK 261版

b将文件googlecloudsdk/schemas/compute/alpha/PropertiesValue.yaml复制到缺少的位置,见上文。该文件是通用键/值映射的模式,不特定于Compute或Dataproc。具体路径取决于您的安装方法和操作系统,请与错误消息进行比较。

文件googlecloudsdk/schemas/dataproc/v1/PropertiesValue.yaml确实缺失。这是一个可以在此处跟踪的错误:

显然,当gclouddataproc从使用v1beta2api切换到v1时,这个bug是在谷歌云SDK的262版中引入的

至少有两种解决方法:

a使用谷歌云SDK 261版

b将文件googlecloudsdk/schemas/compute/alpha/PropertiesValue.yaml复制到缺少的位置,见上文。该文件是通用键/值映射的模式,不特定于Compute或Dataproc。具体路径取决于您的安装方法和操作系统,请与错误消息进行比较。

对此表示抱歉

我在bug中也做了说明,但作为临时解决方法,您可以使用gcloud beta版的命令,它没有问题。gcloud beta dataproc工作流模板从文件实例化-文件${file_NAME}

我们的目标是在下周或下周发布的下一个gcloud版本中修复此问题。

对此表示抱歉

我在bug中也做了说明,但作为临时解决方法,您可以使用gcloud beta版的命令,它没有问题。gcloud beta dataproc工作流模板从文件实例化-文件${file_NAME}

我们的目标是在下一两周的下一个gcloud版本中解决这个问题