Java 为应用程序设计保存文件_Java_File Io

Java 为应用程序设计保存文件

java file-io

Java 为应用程序设计保存文件,java,file-io,Java,File Io,假设您有一个JAVA应用程序，它处理一些范围为1-5 GBs的输入，并将输出~100s MBs保存到一个仅附加的环境（如HDFS）中的文件中该文件的基本结构如下所示大多数数据的一组值一套钥匙一些元数据键和值与Map-Reduce范例的概念类似由于写入文件的数据量很大，因此最好尽可能将文件的块转储到磁盘。设计这种文件格式以使其在以后的版本中保持灵活性的好方法是什么？我们如何在Java中维护文件格式的版本任何好的资源/链接都会很有帮助！我正在试图了解使用上述约束创建您自己的自定义文件格

假设您有一个JAVA应用程序，它处理一些范围为1-5 GBs的输入，并将输出~100s MBs保存到一个仅附加的环境（如HDFS）中的文件中

该文件的基本结构如下所示

大多数数据的一组值一套钥匙一些元数据键和值与Map-Reduce范例的概念类似

由于写入文件的数据量很大，因此最好尽可能将文件的块转储到磁盘。设计这种文件格式以使其在以后的版本中保持灵活性的好方法是什么？我们如何在Java中维护文件格式的版本

任何好的资源/链接都会很有帮助！我正在试图了解使用上述约束创建您自己的自定义文件格式的最佳实践

谢谢

您考虑过Apache Avro吗

您的值大小是否固定？否。它们可能因数据而异