在python中高效地存储一组整数序列

我有一大组整数序列，下面是小样本：

1
2
1
1 2
1 3 2
4
1 3 2
...

简单地将它们存储为元组列表会给我带来内存错误，因此我正在寻找一种更好的数据结构来保存它们（或等效信息）。序列之间的顺序并不重要（即序列没有id），但需要保留每个序列中的顺序

你知道如何有效地做到这一点吗？我正在考虑一本嵌套字典；对于上面的示例，将如下所示：

{1: {2: {-1: 1}, 
     3: {2: {-1: 2}, -1: 0}, 
    -1: 2}, 
 2: {-1: 1}, 
 4: {-1: 1}}

“叶”值（由键-1给出）是各个序列的计数。当然，这并没有利用所有键都是整数这一事实

粗略地说，我希望管理大约10亿个序列，平均长度为3，具有大量冗余。不同整数的数量约为一百万。有什么好主意/现有的图书馆吗

编辑：

构建数据结构的“子集”应该是有效的，如下所示。给定一个整数

x

，只获取包含

x

的序列。例如，如果

x=2

，那么我们将从初始数据结构构建以下子集：

{1: {2: {-1: 1}, 
     3: {2: {-1: 2}, -1: 0}, 
    -1: 0}, 
 2: {-1: 1}}

如果可能的话，我还希望能够构建一个子集，如下所示。我指定一对整数

（x，y）

，对应的子集是序列集，其中

x

和

y

都出现，第一个

x

出现在第一个

y

之前。例如，对于

（x，y）=（1,2）

，我们将得到

{1: {2: {-1: 1}, 
     3: {2: {-1: 2}, -1: 0}, 
    -1: 0}}

---

我没有明确的O（logn）要求，最后它应该尽可能快地运行：）不幸的是，我不能提供实际的数据样本，因为它不是我的共享对象。

考虑到冗余的数量，您可以使用压缩所有常用前缀的压缩

看起来您的嵌套字典结构正朝着这个方向发展，但哈希映射不一定是最节省空间的存储（您没有提到任何查找性能要求）

例如，考虑将其存储为嵌套列表，用1元组来区分叶值（虽然我们可能会提出更干净的）：

对于平均长度3，这应该是相当浅的，并且希望使用列表而不是字典在每个级别上减少松弛

请注意，如果某些分支很长且没有分支，则可以以代码复杂性为代价压缩冗余深度。考虑子树

[1, [2, [3, ... [n, (1,)]...]]]

可以编码为

[1, 2, 3, ..., n, (1,)]

只要区分平面序列和同级序列（这里，叶始终是1元组，子树始终是列表，其他任何元素都是平面序列中的下一个元素）

---

新的子集需求更加复杂。我可以想出一些可能的办法：

天真/暴力搜索：根据您的访问模式，您可以返回一个生成器，而不是匹配子树的一个完整深度副本（子尝试）

在每个子树的顶部存储bloom过滤器，指示在中找到的值。 搜索的工作原理与（1）相同，只是可以快速跳过不匹配的子树。

• 每个级别的筛选器只是其子级中筛选器的逻辑OR

如果需要快速查找，可以使用反向查找。例如，这可以是包含一个键的每个序列的集合（因此您将有一百万个键）。在对包含x的序列和包含y的序列进行并集之后，需要对结果进行迭代，以查看哪个序列的x和y顺序正确

该方案的难点在于表示每个序列。您要么需要一个指向Trie中叶节点的链接（并且能够以某种方式从叶到根进行迭代），要么需要每个序列的单独平面副本，这似乎是浪费

---

对于平均为3个整数的短序列，我看不到比将它们编码为带有引用计数的数组更有效的方法了

[
 (2, [1]),
 (1, [2]),
 (1, [1, 2]),
 (2, [1, 3, 2]),
 (1, [4])
]

---

考虑一下这一点；使用建议的Trie，对于每个新的子序列，至少需要一个新数组和一个元组，这意味着100M数组和元组，就像这个版本一样。数组存储最多也有100M个数组/元组，而如果子序列相差多个数字，则Trie不会。Trie在消除大量重复的较长序列中大放异彩，但在代码执行的整个过程中，您是否需要在内存中添加额外的数组来平均保存？或者你能把它存储到一个文件/数据库中吗？我们说的是多少不同的完整序列？最或者这10亿个数字都是不同的序列吗？@JoachimIsaksson OP已经写道：“粗略地说，我希望管理大约10亿个序列，平均长度为3，具有大量冗余。不同整数的数量约为100万。有什么好主意/现有库吗？”@是的，但每个序列都有多个整数。他说“大量冗余”，但这并不是很具体。我不明白你是如何从你的样本列表中得到你的样本记录的？这是同一个例子还是我遗漏了什么？事实上，看起来我在想trie，谢谢链接！关于查找要求，Inbar Rose还指出，我应该提到如何使用数据结构，因此我正在编辑我的问题。那么，这是否得到了足够的压缩？我很想知道它是如何运作的。是的，在存储方面，它大大改善了我的序列。数据集压缩系数为10到100。

[
 (2, [1]),
 (1, [2]),
 (1, [1, 2]),
 (2, [1, 3, 2]),
 (1, [4])
]