Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/algorithm/10.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hive presto配置单元元存储连接_Hive_Presto - Fatal编程技术网

Hive presto配置单元元存储连接

Hive presto配置单元元存储连接,hive,presto,Hive,Presto,在我的一个应用程序中,我一直在使用presto和hive metastore从s3查询数据。 为了在生产环境中配置配置配置单元元存储(我将在docker单独的容器中部署presto和hive),我只想知道,presto是使用配置单元元存储为并发查询创建多个连接,还是使用配置单元元存储创建一个连接并为所有并发查询使用相同的连接 例如,假设在我的应用程序实例中运行100个查询,那么presto是使用hive metastore创建100个连接,还是只创建一个连接并对所有查询使用相同的连接 我对所有这

在我的一个应用程序中,我一直在使用presto和hive metastore从s3查询数据。 为了在生产环境中配置配置配置单元元存储(我将在docker单独的容器中部署presto和hive),我只想知道,presto是使用配置单元元存储为并发查询创建多个连接,还是使用配置单元元存储创建一个连接并为所有并发查询使用相同的连接

例如,假设在我的应用程序实例中运行100个查询,那么presto是使用hive metastore创建100个连接,还是只创建一个连接并对所有查询使用相同的连接


我对所有这些事情都不熟悉,所以可能会遗漏一些明显的东西。提前感谢。

Presto将为每个元存储操作(Thrift RPC调用)创建到元存储的单独连接。没有连接池或重用,因此连接的寿命很短。元存储在计划检索表元数据期间以及查询运行检索分区元数据期间被访问。对于表元数据,单个查询不应发出并发请求。对于分区元数据,并发性是通过
hive.split loader concurrency
config属性控制的,尽管这也包括列出文件系统上的文件。Metastore调用通常很快,因此并发连接的数量通常应该比并发Presto查询的数量低很多