Nifi PutHiveStreaming正在将数据写入HDFS,但无法查看配置单元表中的数据

Nifi PutHiveStreaming正在将数据写入HDFS,但无法查看配置单元表中的数据,hive,apache-nifi,hortonworks-data-platform,hdf,Hive,Apache Nifi,Hortonworks Data Platform,Hdf,我使用的是HDF Nifi 1.5和Hdp Hive 3.1 在配置单元中创建分区和bucketing表: 创建表default.client_tbl client_key int,clt_name varchar45,clt_description varchar200,version int按clt_status varchar8划分,按client_key聚集到3个存储桶中,存储为ORC TBLProperty'transactional'='true' 使用ExecuteSQL->Put

我使用的是HDF Nifi 1.5和Hdp Hive 3.1

在配置单元中创建分区和bucketing表:

创建表default.client_tbl client_key int,clt_name varchar45,clt_description varchar200,version int按clt_status varchar8划分,按client_key聚集到3个存储桶中,存储为ORC TBLProperty'transactional'='true'

使用ExecuteSQL->PutHiveStreaming Nifi日志显示写入HDFS路径的数据,但我无法查看配置单元表中的数据

请查找nifi-app.log的附件


如果您使用的是HDP Hive 3.1,那么您将需要PutHive3流而不是PutHiveStreaming。前者用于蜂巢3,后者用于蜂巢1.2.x


话虽如此,Hive 3组件从NiFi 1.7.0+开始提供。另外,如果您使用的是ApacheNIFI发行版,由于其大小,它默认不包括Hive3NAR。您必须自己构建它,或者使用为HDF构建的用于HDP Hive 3的版本,您可以获得HDF 3.2版本NiFi 1.7.0版本。

如果您使用的是HDP Hive 3.1,那么您将需要PutHive3流化而不是PutHiveStreaming。前者用于蜂巢3,后者用于蜂巢1.2.x


话虽如此,Hive 3组件从NiFi 1.7.0+开始提供。另外,如果您使用的是ApacheNIFI发行版,由于其大小,它默认不包括Hive3NAR。您必须自己构建它,或者使用为HDF构建的用于HDP Hive 3的版本,您可以获得HDF 3.2版NiFi 1.7.0版本。

非常感谢matty,使用HDF 3.2我能够解决我的问题。HDF NiFi 1.9和HDP Hive 3.1.1面临同样的问题。我还需要下载一个单独的NAR文件吗?基于ApacheNIFI 1.9的HDF3.4应该已经包含Hive3NAR。如果您使用的是ApacheNIFI 1.9,您可以自己构建或在此处尝试HDF3.4版本:非常感谢matty,通过使用HDF3.2,我能够解决我的问题。HDFNIFI 1.9和HDPHive3.1.1也面临同样的问题。我还需要下载一个单独的NAR文件吗?基于ApacheNIFI 1.9的HDF3.4应该已经包含Hive3NAR。如果您使用的是Apache NiFi 1.9,您可以自己构建它,或者在此处尝试HDF 3.4版本: