Google cloud platform 我们如何与Dataproc Metastore交互以获取数据库和表的列表?

Google cloud platform 我们如何与Dataproc Metastore交互以获取数据库和表的列表?,google-cloud-platform,google-cloud-dataproc,hive-metastore,dataproc-metastore,google-cloud-dataproc-metastore,Google Cloud Platform,Google Cloud Dataproc,Hive Metastore,Dataproc Metastore,Google Cloud Dataproc Metastore,我使用Dataproc metastore作为GCP的metastore服务。如何与它交互以从中获取数据库和表的列表?是否可以在不运行dataproc cluster的情况下执行此操作 编辑-我必须在不运行Dataproc cluster的情况下获取元数据。 因为我使用Dataproc Metastore服务来存储元数据,所以我需要直接从中获取元数据。用于管理Dataproc Metastore服务实例(get/create/update等)。正如其中一条评论中提到的,您可以使用thrift U

我使用Dataproc metastore作为GCP的metastore服务。如何与它交互以从中获取数据库和表的列表?是否可以在不运行dataproc cluster的情况下执行此操作

编辑-我必须在不运行Dataproc cluster的情况下获取元数据。 因为我使用Dataproc Metastore服务来存储元数据,所以我需要直接从中获取元数据。

用于管理Dataproc Metastore服务实例(get/create/update等)。正如其中一条评论中提到的,您可以使用thrift URI(如果您使用的是控制台,您将在metastore服务的配置选项卡下找到该URI)


一旦您有一个连接到thrift URI的thrift客户端,您就可以获取或删除它。尽管您也可以使用thrift API和,但典型的用例是配置大数据处理引擎/框架(如spark或hive)来使用metastore,而不是直接与metastore交互。

使用Dataproc cluster,您可以通过ssh连接到主节点,然后运行
hive
,然后运行
show databases
show tables
@Dagang谢谢您的回答,但正如我在问题中提到的,我需要在不运行Dataproc cluster的情况下执行此操作。由于我使用Dataproc Metastore服务来存储元数据,是否可以在不运行Dataproc群集的情况下从中获取元数据?请尝试使用它们的元数据?查看文档,不清楚您需要哪个端点,我猜应该是
projects.locations.services.metadataImports.{list,get}
。由于您似乎有一个正在运行的实例,您应该能够自己浏览内容并找到您需要的内容。实际上,更多地阅读文档,我认为Google API只控制创建/销毁服务。因此,首先必须找到特定元数据实例的IP/端口。然后,从ApacheHive文档中,元数据存储是一个带有的Thrift服务。因此,您必须使用生成的Thrift文件(例如)进行连接。如果您想与Metastore服务交互,则必须使用Dataproc Metastore服务提供的Thrift API。正如Hitobat所说,只要您具有IP访问能力,就可以使用Java类,还可以与数据目录集成,以便您可以探索模式,等等,但没有显示实际数据。除了Java类之外,您还可以通过beeline、spark sql、hive CLI进行交互,但目前最简单的方法是通过Dataproc进行交互。