Nifi Puthive3流-写入分区表

Nifi Puthive3流-写入分区表,hive,apache-nifi,Hive,Apache Nifi,我正在使用Nifi 1.7.1写入分区的配置单元表。虽然数据流传输成功,但我在配置单元元存储日志中看到了几条消息: 2018-10-29T17:09:40,682 ERROR [pool-10-thread-198]: metastore.RetryingHMSHandler (RetryingHMSHandler.java:invokeInternal(201)) - AlreadyExistsException(message:Partition already exists: Partit

我正在使用Nifi 1.7.1写入分区的配置单元表。虽然数据流传输成功,但我在配置单元元存储日志中看到了几条消息:

2018-10-29T17:09:40,682 ERROR [pool-10-thread-198]: metastore.RetryingHMSHandler (RetryingHMSHandler.java:invokeInternal(201)) - AlreadyExistsException(message:Partition already exists: Partition(values:[2018, 3, 28], dbName:default, tableName:myTable, createTime:0, lastAccessTime:0, sd:StorageDescriptor(cols:[FieldSchema(name:type, type:string, comment:null), FieldSchema(name:id, type:string, comment:null), FieldSchema(name:referenced_event_id, type:string, comment:null), FieldSchema(name:happened, type:string, comment:null), FieldSchema(name:processed, type:string, comment:null), FieldSchema(name:tracking_id, type:string, comment:null), FieldSchema(name:source_attributes, type:struct<id:string,origin:string,data:map<string,string>,external_data:map<string,string>>, comment:null), FieldSchema(name:event_data, type:struct<service:struct<name:string,version:string>,result:struct<mno:string,mvno:string,mcc:string,mnc:string,country:string>>, comment:null)], location:hdfs://node-master:8020/user/hive/warehouse/myTable/year=2018/month=3/day=28, inputFormat:org.apache.hadoop.hive.ql.io.orc.OrcInputFormat, outputFormat:org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat, compressed:false, numBuckets:6, serdeInfo:SerDeInfo(name:null, serializationLib:org.apache.hadoop.hive.ql.io.orc.OrcSerde, parameters:{serialization.format=1}), bucketCols:[tracking_id], sortCols:[], parameters:{}, skewedInfo:SkewedInfo(skewedColNames:[], skewedColValues:[], skewedColValueLocationMaps:{}), storedAsSubDirectories:false), parameters:null, catName:hive))
还有

"hive3-stream-autocreate-partition": "true",

有人清楚地知道为什么会记录这些错误吗?

我想你遇到了。处理器的最大并发任务属性的设置是什么?如果大于1,是否可以尝试将其设置为1,然后查看是否仍然收到该消息?如果为1,是否有多个客户端(NiFi、beeline等)试图同时写入该表?

我认为您遇到了。处理器的最大并发任务属性的设置是什么?如果大于1,是否可以尝试将其设置为1,然后查看是否仍然收到该消息?如果为1,是否有多个客户端(NiFi、beeline等)试图同时写入该表?

您使用的SQL驱动程序是什么?您使用的SQL驱动程序是什么?我使用的并发任务=1(在所有节点上执行)。我也只使用一个客户端写入这个表,我使用并发任务=1(在所有节点上执行)。我也只使用一个客户端来写入这个表。
"hive3-stream-autocreate-partition": "true",