Hadoop 编写flume拦截器从solace获取数据

Hadoop 编写flume拦截器从solace获取数据,hadoop,hdfs,flume,flume-ng,solace,Hadoop,Hdfs,Flume,Flume Ng,Solace,我想使用flume将solace中的数据带到hadoop中,有人能告诉我如何编写拦截器将protobuf转换为avro吗 有一个非常详细的集成指南,描述了如何使用JMS Flume源从Solace消息总线接收消息 这是您正在使用的界面吗 如果是这样,Ken Barr的博客文章给出了Flume源和汇的实现。完整的源代码在 FlumeEventToSolaceMessageConverter.solaceToFlume方法是您需要修改的方法,以支持protobuf to avro用例。OOTB它只是

我想使用flume将solace中的数据带到hadoop中,有人能告诉我如何编写拦截器将protobuf转换为avro吗

有一个非常详细的集成指南,描述了如何使用JMS Flume源从Solace消息总线接收消息

这是您正在使用的界面吗

如果是这样,Ken Barr的博客文章给出了Flume源和汇的实现。完整的源代码在

FlumeEventToSolaceMessageConverter.solaceToFlume方法是您需要修改的方法,以支持protobuf to avro用例。OOTB它只是假设JMS消息的主体是avro消息


在GitHub上,我们发现了一个protobuf到avro的转换器vpon/protobuf到avro,它使用.proto模式文件生成一个POJO转换器

问题是,我已经在solace端启用了JNDI连接工厂,我认为solace是JMS源,我正在尝试使用flume从solace获取数据,我应该在flume的sink端配置什么。