Hadoop 序列文件相对于hdfs文本文件的优势

Hadoop序列文件比HDFS平面文件（文本）有什么优势？序列文件以何种方式有效

小文件可以组合并写入序列文件，但HDFS文本文件也可以这样做。需要知道这两种方法之间的区别。我已经在谷歌上搜索了一段时间，如果我能弄清楚这一点会有帮助吗

序列文件适用于存储键及其相应值的情况。对于文本文件，您可以这样做，但必须解析每一行

可以被压缩并且仍然是可拆分的，这意味着更好的工作负载。除非使用可拆分的压缩格式，否则无法拆分压缩文本文件

可以采用二进制文件=>更高效的存储方式。在文本文件中，double将是大量字符=>大量存储开销

---

Hadoop的优势（根据

Hadoop教程.info

网站上的

Siva

文章）

比文本文件更紧凑

提供对不同级别压缩的支持-块或记录等

文件可以拆分并并行处理

它们可以解决Hadoop中大量小文件的问题，Hadoop的主要优势是使用Map reduce作业处理大文件。它可以用作大量小文件的容器

映射器的临时输出可以存储在顺序文件中

缺点：

顺序文件仅附加

---

序列文件是在MapReduce处理的mapper和reducer阶段生成的中间文件。序列文件是可压缩的，处理速度快，用于在映射过程中写入输出并从中还原。

---

Hadoop和Spark中有用于读/写序列文件的API

只是一些问题：文本文件是否有校验和？如果记录不在一行中，您的文本文件是否可以轻松拆分？这实际上是序列文件的优点。此外，您的文本文件只是字符串，您可以在序列文件中序列化任意数据类型。HDFS中的任何块都没有校验和吗？是的，这是

checksum文件系统的一个功能。