Parsing 如何解析Flume中的数据
我正在尝试解析Flume/Kafka中的数据。我已将Flume.conf文件配置为指向Kafka。我能够将数据文件从Flume传递到Kafka。我想知道如何在Flume或Kafka中解析数据以从数据文件中提取几个字段。有什么建议吗？谢谢我想您可以创建自己的自定义Flume拦截器，以便在原始文件中保留字段的子集。Flume拦截器是一段代码，在源创建Flume事件之后，在将其放入通道之前立即运行（配置时）；i、 e.在将事件有效地放入通道之前，它“截取”事件并对其执行一些修改（在头部或正文中） 一旦创建，就可以很容易地配置其用法：Parsing 如何解析Flume中的数据,parsing,apache-kafka,flume,Parsing,Apache Kafka,Flume,我正在尝试解析Flume/Kafka中的数据。我已将Flume.conf文件配置为指向Kafka。我能够将数据文件从Flume传递到Kafka。我想知道如何在Flume或Kafka中解析数据以从数据文件中提取几个字段。有什么建议吗？谢谢我想您可以创建自己的自定义Flume拦截器，以便在原始文件中保留字段的子集。Flume拦截器是一段代码，在源创建Flume事件之后，在将其放入通道之前立即运行（配置时）；i、 e.在将事件有效地放入通道之前，它“截取”事件并对其执行一些修改（在头部或正文中） 一旦
myagent.sources.mysource.interceptors = myinterceptor
myagent.sources.mysource.interceptors.myintercetor.type = FQCN_of_your_interceptor_class
myagent.sources.mysource.interceptors.myintercetor.specific_parameter_1 = whatever
myagent.sources.mysource.interceptors.myintercetor.specific_parameter_2 = whatever
拦截器类实现了org.apache.flume.interceptor.interceptor我想您可以创建自己的自定义flume拦截器，以便在原始文件中保留字段的子集。Flume拦截器是一段代码，在源创建Flume事件之后，在将其放入通道之前立即运行（配置时）；i、 e.在将事件有效地放入通道之前，它“截取”事件并对其执行一些修改（在头部或正文中） 一旦创建，就可以很容易地配置其用法：
myagent.sources.mysource.interceptors = myinterceptor
myagent.sources.mysource.interceptors.myintercetor.type = FQCN_of_your_interceptor_class
myagent.sources.mysource.interceptors.myintercetor.specific_parameter_1 = whatever
myagent.sources.mysource.interceptors.myintercetor.specific_parameter_2 = whatever
拦截器类实现了
org.apache.flume.interceptor.interceptor