Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/ruby-on-rails/60.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 防止凸轮增大偏移值_Hadoop_Hdfs_Apache Kafka_Camus - Fatal编程技术网

Hadoop 防止凸轮增大偏移值

Hadoop 防止凸轮增大偏移值,hadoop,hdfs,apache-kafka,camus,Hadoop,Hdfs,Apache Kafka,Camus,是否有任何方法可以防止增加偏移值,并使其始终读取以前的值 以及如何为创建的文件提供自定义名称,而不是常规格式,即topic.leaderId.partitionId.partitioner.encodePartitioner(context,key)?映射器输出的文件名在com.linkedin.camus.etl.Patitioner类的generateFileName方法中生成 您可以实现自定义分区器,并在as中提供逻辑 @覆盖 公共字符串generateFileName(JobContex

是否有任何方法可以防止增加偏移值,并使其始终读取以前的值


以及如何为创建的文件提供自定义名称,而不是常规格式,即
topic.leaderId.partitionId.partitioner.encodePartitioner(context,key)

映射器输出的文件名在
com.linkedin.camus.etl.Patitioner
类的
generateFileName
方法中生成

您可以实现自定义分区器,并在as中提供逻辑

@覆盖
公共字符串generateFileName(JobContext上下文、字符串主题、字符串brokerId、int分区ID、int计数、,
长偏移量,字符串编码(分区){
返回“MyCustomFileName-”+主题+分区ID;
}