Apache spark 如何使用配置单元仓库连接器在pyspark中执行HQL文件

Apache spark 如何使用配置单元仓库连接器在pyspark中执行HQL文件,apache-spark,pyspark,hiveql,Apache Spark,Pyspark,Hiveql,我有一个hql文件。我想使用带有Hive warehouse连接器的pyspark运行它。有一个executeQuery方法来运行查询。我想知道hql文件是否可以这样运行。我们可以运行这样复杂的查询吗。 请建议 谢谢我有以下解决方案,我假设hql文件中将有多个查询 HQL文件:sample_query.HQL select * from schema.table; select * from schema.table2; 代码:迭代每个查询。在每次迭代中,您可以按照自己的意愿执行HWC操作 w

我有一个hql文件。我想使用带有Hive warehouse连接器的pyspark运行它。有一个executeQuery方法来运行查询。我想知道hql文件是否可以这样运行。我们可以运行这样复杂的查询吗。 请建议


谢谢

我有以下解决方案,我假设hql文件中将有多个查询

HQL文件:sample_query.HQL

select * from schema.table;
select * from schema.table2;
代码:迭代每个查询。在每次迭代中,您可以按照自己的意愿执行HWC操作

with open('sample_query.hql', 'r') as file:
    hql_file = file.read().rstrip()
    
for query in [x.lstrip().rstrip() for x in hql_file.split(";") if len(x) != 0] :
    hive.executeQuery("{0}".format(query))

以下解决方案是否有效或是否已检查