Hadoop 防止凸轮增大偏移值
是否有任何方法可以防止增加偏移值,并使其始终读取以前的值Hadoop 防止凸轮增大偏移值,hadoop,hdfs,apache-kafka,camus,Hadoop,Hdfs,Apache Kafka,Camus,是否有任何方法可以防止增加偏移值,并使其始终读取以前的值 以及如何为创建的文件提供自定义名称,而不是常规格式,即topic.leaderId.partitionId.partitioner.encodePartitioner(context,key)?映射器输出的文件名在com.linkedin.camus.etl.Patitioner类的generateFileName方法中生成 您可以实现自定义分区器,并在as中提供逻辑 @覆盖 公共字符串generateFileName(JobContex
以及如何为创建的文件提供自定义名称,而不是常规格式,即
topic.leaderId.partitionId.partitioner.encodePartitioner(context,key)
?映射器输出的文件名在com.linkedin.camus.etl.Patitioner
类的generateFileName
方法中生成
您可以实现自定义分区器,并在as中提供逻辑
@覆盖
公共字符串generateFileName(JobContext上下文、字符串主题、字符串brokerId、int分区ID、int计数、,
长偏移量,字符串编码(分区){
返回“MyCustomFileName-”+主题+分区ID;
}