Google cloud platform 对GCP Dataproc sofwareConfig值感到困惑
我试图修改Airflow的dataproc操作符,将Anaconda和Jupyter包含到集群中 我正在覆盖以包括Google cloud platform 对GCP Dataproc sofwareConfig值感到困惑,google-cloud-platform,airflow,google-cloud-dataproc,Google Cloud Platform,Airflow,Google Cloud Dataproc,我试图修改Airflow的dataproc操作符,将Anaconda和Jupyter包含到集群中 我正在覆盖以包括可选组件 阅读后,我明白我需要通过一个枚举; 每次尝试运行此任务时,我都会遇到无效值错误,或者TypeError:type'EnumMeta'的对象不可JSON序列化 如果有人能告诉我如何正确通过这个领域的考试,我将不胜感激 cluster_data = { 'projectId': self.project_id, '
可选组件
阅读后,我明白我需要通过一个枚举;
每次尝试运行此任务时,我都会遇到无效值错误,或者TypeError:type'EnumMeta'的对象不可JSON序列化
如果有人能告诉我如何正确通过这个领域的考试,我将不胜感激
cluster_data = {
'projectId': self.project_id,
'clusterName': self.cluster_name,
'config': {
'gceClusterConfig': {
},
'masterConfig': {
'numInstances': self.num_masters,
'machineTypeUri': master_type_uri,
'diskConfig': {
'bootDiskType': self.master_disk_type,
'bootDiskSizeGb': self.master_disk_size
}
},
'workerConfig': {
'numInstances': self.num_workers,
'machineTypeUri': worker_type_uri,
'diskConfig': {
'bootDiskType': self.worker_disk_type,
'bootDiskSizeGb': self.worker_disk_size
}
},
'secondaryWorkerConfig': {},
'softwareConfig': {
# I've tried the following:
'optionalComponents': 'ANACONDA,JUPYTER'
#from google.cloud.dataproc_v1 import enums
'optionalComponents': [enums.Component.ANACONDA.value]
},
}
}
您想在那里使用JSON列表
['ANACONDA','JUPYTER']
您可以使用gcloud
创建一个集群,然后运行以下操作,作为了解如何构建内容的一般指导:
gcloud dataproc clusters describe my-cluster --format json
--格式json
是关键。结果应该是可直接复制的