Google cloud platform 数据融合中的资源调配问题
当DataFusion运行数据管道时,它会持续处于供应状态,然后停止 因此,无法创建Dataproc Dataproc的设置如下所示:Google cloud platform 数据融合中的资源调配问题,google-cloud-platform,google-cloud-dataproc,google-cloud-data-fusion,Google Cloud Platform,Google Cloud Dataproc,Google Cloud Data Fusion,当DataFusion运行数据管道时,它会持续处于供应状态,然后停止 因此,无法创建Dataproc Dataproc的设置如下所示: - Master - Number of masters : 1 - Master Cores : 2 - Master Memory(GB) : 4 - Master Disk Size(GB) : 1000 - Worker - Number of Workers : 2 - Worker Cores : 4
- Master
- Number of masters : 1
- Master Cores : 2
- Master Memory(GB) : 4
- Master Disk Size(GB) : 1000
- Worker
- Number of Workers : 2
- Worker Cores : 4
- Worker Memory(GB) : 16
- Worker Disk Size(GB) : 1500
- Executor
- CPU : 2
- Memory : 4
- Driver
- CPU : 2
- Memory : 4
在数据管道中,驱动程序和执行程序如下所示:
- Master
- Number of masters : 1
- Master Cores : 2
- Master Memory(GB) : 4
- Master Disk Size(GB) : 1000
- Worker
- Number of Workers : 2
- Worker Cores : 4
- Worker Memory(GB) : 16
- Worker Disk Size(GB) : 1500
- Executor
- CPU : 2
- Memory : 4
- Driver
- CPU : 2
- Memory : 4
如果我真的在谷歌云控制台窗口中查看dataproc,它将被配置,然后消失。请分享您对如何解决此问题的看法。您似乎没有遵循官方文档中授予Dataproc服务帐户用户角色给Cloud Data Fusion以允许其在Dataproc群集上配置和运行管道的规定。检查一下。如果有,请检查日志中潜在错误的线索。查找类似以下日志:
未能创建群集
,未能初始化节点
,未能注册节点
,。。。并共享您可以找到的任何警告或错误日志。似乎您没有遵循有关将Dataproc服务帐户用户角色授予Cloud Data Fusion以允许其在Dataproc群集上配置和运行管道的官方文档。检查一下。如果有,请检查日志中潜在错误的线索。查找类似以下日志:未能创建群集
,未能初始化节点
,未能注册节点
,。。。并共享您可以找到的任何警告或错误日志。