Hadoop 在hdfs中存储小文件，并在Nifi流中存档
我有一个小文件和HDF的问题 场景：我用NiFi阅读卡夫卡主题的信息，这些都很小 要求：在对这些原始数据消息进行进一步处理之前，将其存储在HDFS中（用于重播功能） 我在考虑定期对它们使用Hadoop归档（HAR）。这是我可以通过NiFi实现的吗？har命令看起来像是命令行的东西，而不是我可以通过NiFi执行的东西？我很想知道一个解决方案，可以满足我的要求，而不会因为文件太小而导致HDFS崩溃Hadoop 在hdfs中存储小文件，并在Nifi流中存档,hadoop,apache-kafka,hdfs,apache-nifi,execute-script,Hadoop,Apache Kafka,Hdfs,Apache Nifi,Execute Script,我有一个小文件和HDF的问题 场景：我用NiFi阅读卡夫卡主题的信息，这些都很小 要求：在对这些原始数据消息进行进一步处理之前，将其存储在HDFS中（用于重播功能） 我在考虑定期对它们使用Hadoop归档（HAR）。这是我可以通过NiFi实现的吗？har命令看起来像是命令行的东西，而不是我可以通过NiFi执行的东西？我很想知道一个解决方案，可以满足我的要求，而不会因为文件太小而导致HDFS崩溃 Ginil您可以使用ExecuteProcess处理器在Nifi内部执行命令行： 您还可以查看Kaf
Ginil您可以使用ExecuteProcess处理器在Nifi内部执行命令行： 您还可以查看Kafka connect HDFS，了解如何将Kafka记录放入HDFS