PyHive在异步模式下运行时无法从HiveServer2获取日志
我遇到了一个奇怪的问题,PyHive在异步模式下运行配置单元查询。在内部,PyHive使用Thrift客户端执行查询和获取日志(以及执行状态)。我无法获取配置单元查询的日志(映射/减少任务等)PyHive在异步模式下运行时无法从HiveServer2获取日志,hive,pyhive,hiveserver2,Hive,Pyhive,Hiveserver2,我遇到了一个奇怪的问题,PyHive在异步模式下运行配置单元查询。在内部,PyHive使用Thrift客户端执行查询和获取日志(以及执行状态)。我无法获取配置单元查询的日志(映射/减少任务等)cursor.fetch_logs()返回一个空的数据结构 下面是代码片段 rom pyhive import hive # or import hive or import trino from TCLIService.ttypes import TOperationState def run():
cursor.fetch_logs()
返回一个空的数据结构
下面是代码片段
rom pyhive import hive # or import hive or import trino
from TCLIService.ttypes import TOperationState
def run():
cursor = hive.connect(host="10.x.y.z", port='10003', username='xyz', password='xyz', auth='LDAP').cursor()
cursor.execute("select count(*) from schema1.table1 where date = '2021-03-13' ", async_=True)
status = cursor.poll(True).operationState
print(status)
while status in (TOperationState.INITIALIZED_STATE, TOperationState.RUNNING_STATE):
logs = cursor.fetch_logs()
for message in logs:
print("running ")
print(message)
# If needed, an asynchronous query can be cancelled at any time with:
# cursor.cancel()
print("running ")
status = cursor.poll().operationState
print
cursor.fetchall()
光标能够正确获取operationState,但无法获取日志。HiveServer2端是否有需要配置的内容
提前谢谢