Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 基于Kafka的消息数据写入自定义HDFS目录->;水槽->;hdfs摄入_Hadoop_Apache Kafka_Flume - Fatal编程技术网

Hadoop 基于Kafka的消息数据写入自定义HDFS目录->;水槽->;hdfs摄入

Hadoop 基于Kafka的消息数据写入自定义HDFS目录->;水槽->;hdfs摄入,hadoop,apache-kafka,flume,Hadoop,Apache Kafka,Flume,如何根据Kafka消息中的消息类型使用flume写入自定义hdfs目录 说卡夫卡消息:{“type”:“A”,“data”:“blah”}在type字段中有“A”应写入/data/A,消息:{“type”:“B”,“data”:“blah”}在type字段中有“B”应写入/data/B,等等我认为您需要定制水槽水槽水槽。 您能否添加更多细节和/或展示您迄今为止所做的尝试?可能重复?而不仅仅是定制水槽。要根据特定接收器的内容(称为多路复用)向其发送事件,您将需要一个写侦听器

如何根据Kafka消息中的消息类型使用flume写入自定义hdfs目录


说卡夫卡消息:
{“type”:“A”,“data”:“blah”}
在type字段中有“A”应写入
/data/A
,消息:
{“type”:“B”,“data”:“blah”}
在type字段中有“B”应写入
/data/B
,等等我认为您需要定制水槽水槽水槽。

您能否添加更多细节和/或展示您迄今为止所做的尝试?可能重复?而不仅仅是定制水槽。要根据特定接收器的内容(称为多路复用)向其发送事件,您将需要一个写侦听器