使用Scala 2.9序列化大量数据的最佳方法

使用Scala 2.9序列化大量数据的最佳方法,scala,serialization,bigdata,Scala,Serialization,Bigdata,我想使用Scala 2.9.3版序列化描述为LinkedHashMap的图形。然后用另一个程序反序列化/读取它。节点和边的数量在数百万范围内,我计划在不久的将来使用Spark来并行执行*。我花了很多时间阅读不同的选择,但我仍然不知道哪一个是最好的。所以,我需要一些关于图书馆的建议和一些例子的链接 *:这就是我使用Scala 2.9.3的原因。针对图形顶点和/或圆弧的信息内容,而不是某种通用序列化格式,生成一种紧凑的文本表示。图形是非常规则的结构,使用泛型序列化将外部化的大部分内容都是多余的,并且

我想使用Scala 2.9.3版序列化描述为LinkedHashMap的图形。然后用另一个程序反序列化/读取它。节点和边的数量在数百万范围内,我计划在不久的将来使用Spark来并行执行*。我花了很多时间阅读不同的选择,但我仍然不知道哪一个是最好的。所以,我需要一些关于图书馆的建议和一些例子的链接


*:这就是我使用Scala 2.9.3的原因。

针对图形顶点和/或圆弧的信息内容,而不是某种通用序列化格式,生成一种紧凑的文本表示。图形是非常规则的结构,使用泛型序列化将外部化的大部分内容都是多余的,并且特定于内部表示,而不是图形的基本内容和结构。好的,那么我只需将表示形式写入一个文件?一个简单的选择,可能足够,将使用GraphViz工具的格式,这将使您能够使用该工具包可视化图形,从而获得额外的好处。实际上我很好奇为什么不使用Scala()的Graph?它包括两种不同格式的I/O(导出到DOT、GraphViz格式以及JSON中的导出和导入)。