配置单元JDBC与CLI客户端

配置单元JDBC与CLI客户端,jdbc,hadoop,command-line-interface,hive,Jdbc,Hadoop,Command Line Interface,Hive,我需要以编程方式使用配置单元访问数据(每个查询的数据以GB为顺序)。我在评估CLI驱动程序和Hive JDBC驱动程序 当我们使用JDBC时,thrift服务器会有额外的开销&我试图理解这有多大。如果多个客户机连接到一台thrift服务器,是否也会成为单点瓶颈?或者人们在Hadoop上配置多个thrift服务器并进行负载平衡是一种常见的做法 我正在寻找更好的性能,而不是更快的原型。 提前感谢。从性能的角度来看,是的,thrift server可能成为瓶颈和SPF。我见过有人设置多个thrift服

我需要以编程方式使用配置单元访问数据(每个查询的数据以GB为顺序)。我在评估CLI驱动程序和Hive JDBC驱动程序

当我们使用JDBC时,thrift服务器会有额外的开销&我试图理解这有多大。如果多个客户机连接到一台thrift服务器,是否也会成为单点瓶颈?或者人们在Hadoop上配置多个thrift服务器并进行负载平衡是一种常见的做法

我正在寻找更好的性能,而不是更快的原型。
提前感谢。

从性能的角度来看,是的,thrift server可能成为瓶颈和SPF。我见过有人设置多个thrift服务器与mysql metastore对话。看看这有什么帮助。

圣洁的链接不起作用-这可能会自动链接:


您可以尝试使用连接池。我在通过JDBC提交配置单元查询时遇到了类似的问题,这比配置单元cli花费的时间要多

在您的连接字符串中,还应提及以下几个参数:


jdbc:hive2://servername:portno/;hive.execution.engine=tez;tez.queue.name=alt;hive.exec.parallel=true;hive.vectorized.execution.enabled=true;hive.vectorized.execution.reduce.enabled=true

您提供的链接处的网页显示“无法显示此页面”。你能提供一个有用的工作链接吗?