Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/python-3.x/18.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hive-f每次都在创建新会话_Hive_Hortonworks Data Platform - Fatal编程技术网

Hive-f每次都在创建新会话

Hive-f每次都在创建新会话,hive,hortonworks-data-platform,Hive,Hortonworks Data Platform,我有一个用shell编写的框架,它调用多个hql文件 配置单元-f file1.hql 配置单元-f file2.hql 配置单元-f file3.hql 每个配置单元-f命令都会创建新会话,并花费大量时间执行该命令。很多时候,这些文件中的实际查询将快速运行,但大部分时间用于创建新会话 Deoe配置单元支持会话轮询/或任何其他机制,以便在hql文件中创建一次会话,并在所有其他配置单元-f调用期间重用它?,因为我知道这是不可能的。最多可以考虑将HQL文件合并为一个批处理文件。 作为替代和推荐的方法

我有一个用shell编写的框架,它调用多个hql文件

配置单元-f file1.hql

配置单元-f file2.hql

配置单元-f file3.hql

每个配置单元-f命令都会创建新会话,并花费大量时间执行该命令。很多时候,这些文件中的实际查询将快速运行,但大部分时间用于创建新会话


Deoe配置单元支持会话轮询/或任何其他机制,以便在hql文件中创建一次会话,并在所有其他配置单元-f调用期间重用它?

,因为我知道这是不可能的。最多可以考虑将HQL文件合并为一个批处理文件。
作为替代和推荐的方法,您可以考虑切换到HyvServR2服务,例如在Python中使用。< /P>为什么Python???只要使用
beeline
命令(JDBC瘦客户端)而不是
hive
(不推荐使用的胖客户端),beeline适用于交互式工作流,但我不推荐它用于编程访问。好方法是:将新查询附加到单个文件,然后最终在一批中执行所有查询。坏方法:你现在正在做什么。丑陋的方式:使用Linux命名管道,以便
hive
在创建每个查询时立即执行,参见。在叙述问题的同时,我尽量使其保持简单。在我的实际案例中,配置单元命令在框架中逐个(顺序)不存在,在这两者之间还有其他逻辑,我无法将所有hql内容保存在一个文件中并运行它。