Google compute engine 谷歌云上的dataproc集群

Google compute engine 谷歌云上的dataproc集群,google-compute-engine,google-cloud-dataproc,Google Compute Engine,Google Cloud Dataproc,我的理解是,运行Dataproc群集而不是设置自己的计算引擎群集是因为它负责安装存储连接器(和其他连接器)。它还能为您做些什么?除了DIY集群之外,Dataproc最重要的功能是能够通过API、WebUI和CLI提交作业(Hadoop和Spark JAR、Hive查询等),而无需配置复杂的网络防火墙和向世界公开信息 CloudDataProc还负责许多配置和初始化,例如为配置单元和Spark设置共享配置单元元存储。并允许在启动时指定Hadoop、Spark等属性 它在90年代左右启动集群,以我的

我的理解是,运行Dataproc群集而不是设置自己的计算引擎群集是因为它负责安装存储连接器(和其他连接器)。它还能为您做些什么?

除了DIY集群之外,Dataproc最重要的功能是能够通过API、WebUI和CLI提交作业(Hadoop和Spark JAR、Hive查询等),而无需配置复杂的网络防火墙和向世界公开信息

CloudDataProc还负责许多配置和初始化,例如为配置单元和Spark设置共享配置单元元存储。并允许在启动时指定Hadoop、Spark等属性

它在90年代左右启动集群,以我的经验,这比大多数集群设置都要快。这使您可以在不感兴趣时拆除集群,而不必等待数十分钟来启动新集群


我鼓励您了解更全面的信息。

除了DIY集群之外,Dataproc最重要的功能是能够通过API、WebUI和CLI提交作业(Hadoop和Spark JAR、Hive查询等),而无需配置复杂的网络防火墙和向世界公开纱线

CloudDataProc还负责许多配置和初始化,例如为配置单元和Spark设置共享配置单元元存储。并允许在启动时指定Hadoop、Spark等属性

它在90年代左右启动集群,以我的经验,这比大多数集群设置都要快。这使您可以在不感兴趣时拆除集群,而不必等待数十分钟来启动新集群

我鼓励你看一个更全面的