Apache nifi将数据从json保存到orc的问题

我正在使用NIFI JSONTAVRO->avrotoorc->puthdfs。但面临以下问题

1） 单个ORC文件保存在HDFS上。我没有使用任何压缩。 2） 当我试图访问这些文件时，它们会给出一些错误，比如缓冲内存

---

提前感谢您的帮助。

在转换AVROTOORC之前，您应该合并许多Avro记录

您可以在ConvertAvroToORC之前使用模式设置为Avro的MergeContent来实现这一点

您还可以通过使用MergeContent将JSON合并在一起，然后将合并后的JSON发送给ConvertJsonToAvro来实现这一点

---

使用PutHDFS附加到已经在HDFS中的ORC文件将不起作用。HDFS处理器对数据的格式一无所知，只是将额外的原始字节写入文件，可能会创建无效的ORC文件。

在追加文件时，我遇到了这个问题。为单张唱片制作兽人很好。是的，布莱恩，这正是问题所在。