Hadoop 如何衡量Google cloud Dataproc中的高可用性
根据google文档,基于HDFS测量Dataproc的高可用性,而不是基于区域/区域。是否可以在一个区域中保留一个主节点,在不同的区域中保留另一个主节点,以便在上下文中获得位置HA? 另外,请详细说明,在全局端点中配置Dataproc集群是否在位置上下文中实现HAHadoop 如何衡量Google cloud Dataproc中的高可用性,hadoop,data-warehouse,google-cloud-dataproc,Hadoop,Data Warehouse,Google Cloud Dataproc,根据google文档,基于HDFS测量Dataproc的高可用性,而不是基于区域/区域。是否可以在一个区域中保留一个主节点,在不同的区域中保留另一个主节点,以便在上下文中获得位置HA? 另外,请详细说明,在全局端点中配置Dataproc集群是否在位置上下文中实现HA 我已经浏览过谷歌文档,但这并不能消除上述疑虑。不,Dataproc HA不保证区域可用性,因为所有Dataproc群集节点都应该位于同一GCP区域 要实现区域可用性,您需要在多个区域中创建Dataproc群集,并使用基于标签的方法跨
我已经浏览过谷歌文档,但这并不能消除上述疑虑。不,Dataproc HA不保证区域可用性,因为所有Dataproc群集节点都应该位于同一GCP区域
要实现区域可用性,您需要在多个区域中创建Dataproc群集,并使用基于标签的方法跨区域群集分发作业提交。是否可以触发云功能以基于日志实例化Dataproc WorkflowTemplate?是的,应该可以,您需要使用Dataproc API from Cloud函数来实现这一点: