Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 如何衡量Google cloud Dataproc中的高可用性_Hadoop_Data Warehouse_Google Cloud Dataproc - Fatal编程技术网

Hadoop 如何衡量Google cloud Dataproc中的高可用性

Hadoop 如何衡量Google cloud Dataproc中的高可用性,hadoop,data-warehouse,google-cloud-dataproc,Hadoop,Data Warehouse,Google Cloud Dataproc,根据google文档,基于HDFS测量Dataproc的高可用性,而不是基于区域/区域。是否可以在一个区域中保留一个主节点,在不同的区域中保留另一个主节点,以便在上下文中获得位置HA? 另外,请详细说明,在全局端点中配置Dataproc集群是否在位置上下文中实现HA 我已经浏览过谷歌文档,但这并不能消除上述疑虑。不,Dataproc HA不保证区域可用性,因为所有Dataproc群集节点都应该位于同一GCP区域 要实现区域可用性,您需要在多个区域中创建Dataproc群集,并使用基于标签的方法跨

根据google文档,基于HDFS测量Dataproc的高可用性,而不是基于区域/区域。是否可以在一个区域中保留一个主节点,在不同的区域中保留另一个主节点,以便在上下文中获得位置HA? 另外,请详细说明,在全局端点中配置Dataproc集群是否在位置上下文中实现HA


我已经浏览过谷歌文档,但这并不能消除上述疑虑。

不,Dataproc HA不保证区域可用性,因为所有Dataproc群集节点都应该位于同一GCP区域


要实现区域可用性,您需要在多个区域中创建Dataproc群集,并使用基于标签的方法跨区域群集分发作业提交。

是否可以触发云功能以基于日志实例化Dataproc WorkflowTemplate?是的,应该可以,您需要使用Dataproc API from Cloud函数来实现这一点: