Key Flume-如何为HDFS SequenceFile创建自定义密钥?

Key Flume-如何为HDFS SequenceFile创建自定义密钥?,key,hdfs,flume,sequencefile,Key,Hdfs,Flume,Sequencefile,我正在使用Flume的HDFS SequenceFile接收器将数据写入HDFS。 我正在寻找创建“自定义密钥”的可能性。默认情况下,Flume将时间戳用作SequenceFile中的键。然而,在我的用例中,我希望使用自定义字符串作为键(而不是时间戳) 在Flume中实现/配置此类“自定义密钥”的最佳实践是什么 最好的, Thomas我找到了解决方案(特别感谢Ghereros):1)实现自定义序列化程序,例如MyHDFSSequenceFileSerializer(您必须实现接口“Sequenc

我正在使用Flume的HDFS SequenceFile接收器将数据写入HDFS。 我正在寻找创建“自定义密钥”的可能性。默认情况下,Flume将时间戳用作SequenceFile中的键。然而,在我的用例中,我希望使用自定义字符串作为键(而不是时间戳)

在Flume中实现/配置此类“自定义密钥”的最佳实践是什么

最好的, Thomas

我找到了解决方案(特别感谢Ghereros):1)实现自定义序列化程序,例如MyHDFSSequenceFileSerializer(您必须实现接口“SequenceFileSerializer”)。Flume序列化程序为在将Flume事件写入SequenceFile之前定制这些事件的键提供了一个很好的机会。2) 使用“hdfs.writeFormat”选项将Flume代理配置为使用“自定义”序列化程序。在这里,您必须提供序列化程序的完整限定类名(或者更准确地说,是用于创建序列化程序的生成器)。