Google cloud platform GCP数据融合在执行管道时太慢_Google Cloud Platform_Google Cloud Data Fusion_Cdap

Google cloud platform GCP数据融合在执行管道时太慢

google-cloud-platform

Google cloud platform GCP数据融合在执行管道时太慢,google-cloud-platform,google-cloud-data-fusion,cdap,Google Cloud Platform,Google Cloud Data Fusion,Cdap,我知道datafusion是CDAP上的托管服务，但是当前的6.1.1 enterpise版本与谷歌市场上的CDAP OSS相比太慢了。无论计算配置文件是什么，配置dataproc节点大约需要3分钟，启动和运行模式大约需要1.5分钟，然后数据将开始流经节点。有什么方法可以优化它并提高速度吗？谷歌市场上的CDAP OSS正在内存中运行，建议只用于开发，因为执行引擎无法扩展如果您想优化Dataproc集群的配置，您可以自己预先配置Dataproc集群，并使用远程Hadoop Provisioner

我知道datafusion是CDAP上的托管服务，但是当前的6.1.1 enterpise版本与谷歌市场上的CDAP OSS相比太慢了。无论计算配置文件是什么，配置dataproc节点大约需要3分钟，启动和运行模式大约需要1.5分钟，然后数据将开始流经节点。有什么方法可以优化它并提高速度吗？

谷歌市场上的CDAP OSS正在内存中运行，建议只用于开发，因为执行引擎无法扩展

如果您想优化Dataproc集群的配置，您可以自己预先配置Dataproc集群，并使用远程Hadoop Provisioner计算配置文件来提交作业

Google Market place中的CDAP OSS在内存中运行，建议仅用于开发，因为执行引擎无法扩展

如果您想优化Dataproc集群的配置，您可以自己预先配置Dataproc集群，并使用远程Hadoop Provisioner计算配置文件来提交作业