在文本/csv文件Java中逐个样本地写入/读取海量流数据的最快方法

在文本/csv文件Java中逐个样本地写入/读取海量流数据的最快方法,java,file,stream,Java,File,Stream,我有超过1到1700万条记录的数据流。对于每一条记录,我都会做一些处理,我希望保存的结果是一个大的十进制值 保存这些数据的最快方法是什么?我不想把这一切都记在记忆里,然后再保存下来。我希望在记录处理完成后保存每个结果 磁盘上最有效的结构是什么。txt/.csv文件?此外,我想为图表加载数据。例如,从结果2000到10000。什么样的数据结构或读取数据解决方案提供最快的工作 我会先尝试一些简单的方法,如这里所述:-基本上是BufferedWriter/FileWriter。现代系统速度极快,17

我有超过1到1700万条记录的数据流。对于每一条记录,我都会做一些处理,我希望保存的结果是一个大的十进制值

  • 保存这些数据的最快方法是什么?我不想把这一切都记在记忆里,然后再保存下来。我希望在记录处理完成后保存每个结果
  • 磁盘上最有效的结构是什么。txt/.csv文件?此外,我想为图表加载数据。例如,从结果2000到10000。什么样的数据结构或读取数据解决方案提供最快的工作

我会先尝试一些简单的方法,如这里所述:-基本上是BufferedWriter/FileWriter。现代系统速度极快,1700万个BigDecimal并没有那么多数据。要将成吨的BigDecimal保存到磁盘,请考虑ObjectOutputStream。可以避免字符串之间的转换。