Binary Hadoop可以读取任意密钥二进制文件吗

Binary Hadoop可以读取任意密钥二进制文件吗,binary,hadoop,Binary,Hadoop,看起来Hadoop MapReduce需要文本或二进制文本中的键值对结构。 实际上,我们可能需要将文件分割成块进行处理。但是钥匙可能是 分散在文件中。一个键后跟一个值可能不是一个明确的定义。是否有任何InputFileFormatter可以读取此类二进制文件?我不想使用Map Reduce和Map Reduce。这将降低性能并破坏使用map reduce的目的。 有什么建议吗?谢谢,根据 FileInputFormats定义的逻辑记录通常不适合HDF 阻碍。例如,TextInputFormat的

看起来Hadoop MapReduce需要文本或二进制文本中的键值对结构。 实际上,我们可能需要将文件分割成块进行处理。但是钥匙可能是 分散在文件中。一个键后跟一个值可能不是一个明确的定义。是否有任何InputFileFormatter可以读取此类二进制文件?我不想使用Map Reduce和Map Reduce。这将降低性能并破坏使用map reduce的目的。 有什么建议吗?谢谢,

根据

FileInputFormats定义的逻辑记录通常不适合HDF 阻碍。例如,TextInputFormat的逻辑记录是行,它们会交叉 HDFS边界经常出现。这对你的工作没有影响 例如,程序行没有遗漏或中断,但值得了解, 因为它确实意味着数据是本地映射(即在同一主机上运行的映射) 作为其输入数据),将执行一些远程读取。这导致的轻微开销是 通常意义不大

如果文件由HDFS在边界之间分割,那么Hadoop框架将处理它。但是,如果手动拆分文件,则必须考虑边界

实际上,我们可能需要将文件分割成块进行处理。但是密钥可能会分布在整个文件中。一个键后跟一个值可能不是一个明确的定义


在什么情况下,我们可以看看解决方法?

例如,二进制文件包含多字段记录。到处都是钥匙。每个用户选择的时间。在Hadoop中如何处理这种情况?