Python 用于持久数据结构的高级序列化框架

Python 用于持久数据结构的高级序列化框架,python,c++,serialization,binary,protocol-buffers,Python,C++,Serialization,Binary,Protocol Buffers,我需要为内存索引序列化一些结构化数据。特别是,我需要用一个原始数据类型来实现一个大数组(千兆字节)的异构结构(代码为> int s,浮点 S, char < /Case> s,这需要由同一机器上的C++和Python程序解析。这个数组将是静态的,我不需要更新它的任何结构 我发现了一些类似的框架,但我不确定它们是否适合这项工作,因为这里关于协议缓冲区的许多其他问题或Internet教程都集中在消息交换和RPC上。我的主要要求是快速读取/写入千兆字节二进制编码数据的文件 我的问题是:我应该考虑其他

我需要为内存索引序列化一些结构化数据。特别是,我需要用一个原始数据类型来实现一个大数组(千兆字节)的异构结构(代码为> int <代码/ > s,<代码>浮点 S,<代码> char < /Case> s,这需要由同一机器上的C++和Python程序解析。这个数组将是静态的,我不需要更新它的任何结构

我发现了一些类似的框架,但我不确定它们是否适合这项工作,因为这里关于协议缓冲区的许多其他问题或Internet教程都集中在消息交换和RPC上。我的主要要求是快速读取/写入千兆字节二进制编码数据的文件


我的问题是:我应该考虑其他框架来解决这个问题吗? 我的建议是离开Protobuf,试试flatbuffer或Cap'N Proto,它们不会序列化数据,而是针对原始数据构建的。

这个问题有点基于观点。无论如何,protobuf肯定是序列化大量数据的好工具。以后如何传输这些数据(一次传输整个1GB结构,小数据块等等)是另一个问题。