Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 如何从计算机内部在google cloud dataproc上运行hive?_Hadoop_Hive_Google Cloud Platform_Google Cloud Dataproc - Fatal编程技术网

Hadoop 如何从计算机内部在google cloud dataproc上运行hive?

Hadoop 如何从计算机内部在google cloud dataproc上运行hive?,hadoop,hive,google-cloud-platform,google-cloud-dataproc,Hadoop,Hive,Google Cloud Platform,Google Cloud Dataproc,我刚刚创建了一个GoogleCloudDataProc集群。一些基本的东西对我不起作用: 我试图从主节点运行配置单元控制台,但它无法加载除root以外的任何用户(看起来好像有锁,控制台卡住了) 但即使使用root,我也会看到一些奇怪的行为: “显示表格;”显示名为“输入”的表格 查询该表会引发找不到此表的异常 不清楚是哪个用户通过web ui创建表。我创建了一个作业,执行了它,但是没有通过控制台看到结果 找不到任何关于这方面的好文档-有人对此有想法吗?由于默认的metastore配置,目前运

我刚刚创建了一个GoogleCloudDataProc集群。一些基本的东西对我不起作用:

  • 我试图从主节点运行配置单元控制台,但它无法加载除root以外的任何用户(看起来好像有锁,控制台卡住了)

  • 但即使使用root,我也会看到一些奇怪的行为:

    • “显示表格;”显示名为“输入”的表格
    • 查询该表会引发找不到此表的异常
  • 不清楚是哪个用户通过web ui创建表。我创建了一个作业,执行了它,但是没有通过控制台看到结果


  • 找不到任何关于这方面的好文档-有人对此有想法吗?

    由于默认的metastore配置,目前运行
    hive
    命令有点失败

    我建议您改用客户机,它与Dataproc配置单元作业的配置单元服务器2通信。您可以通过ssh在主机上运行
    beeline-ujdbc:hive2://localhost:10000
    来使用它

    thread应用程序由Hive Server 2以用户“nobody”的身份提交,您可以通过将
    -n
    标志传递给beeline来指定不同的用户,但这与默认权限无关。

    此线程有点旧,但当有人搜索谷歌云平台和Hive时,会出现此结果。所以我添加了一些可能有用的信息

    目前,为了向Google dataproc提交作业,我认为,与所有其他产品一样,有3种选择:

  • 从用户界面

  • 从控制台使用命令行,如:
    gcloud dataproc作业提交配置单元--cluster=cluster(--execute=QUERY,-e QUERY |--file=file,-f file)[--async][--bucket=bucket][--失败时继续][--jars=[JAR,…][--labels=[KEY=VALUE,…][--params=[PARAM=VALUE,…][--properties=[PROPERTY=VALUE,…][GLOBAL-FLAG]

  • REST API调用类似于:

  • 希望这将是有用的人