Python 用pytables构造巨大的numpy数组

我从大量数据中为示例生成特征向量，并希望在读取数据时以增量方式存储它们。特征向量是numpy数组。我事先不知道numpy数组的数量，我希望以增量方式存储/检索它们

查看pytables，我发现了两个选项：

阵列：它们需要预先确定大小，我不太确定如何设置 大量附加在计算上是有效的

表：列类型不支持列表或数组

---

你不能把它们存储到一个数组中吗？你有你的代码，它应该是一个循环，从数据中获取一些东西来生成你的示例，然后它生成示例。在循环外创建一个数组，并将向量附加到数组中进行存储

array = []
for row in file:
    #here is your code that creates the vector
    array.append(vector)

然后，在浏览完整个文件之后，就有了一个包含所有生成向量的数组！希望这就是你需要的，你有点不清楚…下次请提供一些代码

---

哦，你说你想要pytables，但我认为没有必要，特别是因为你提到的限制，你不能把它们存储到一个数组中吗？你有你的代码，它应该是一个循环，从数据中获取一些东西来生成你的示例，然后它生成示例。在循环外创建一个数组，并将向量附加到数组中进行存储

array = []
for row in file:
    #here is your code that creates the vector
    array.append(vector)

然后，在浏览完整个文件之后，就有了一个包含所有生成向量的数组！希望这就是你需要的，你有点不清楚…下次请提供一些代码

---

哦，你说你想要pytables，但我认为没有必要，特别是因为你提到的限制，如果它是一个普通的numpy数组，你可能应该使用可扩展数组（array）

---

如果您有一个numpy结构化数组，您应该使用一个表。

如果它是一个普通的numpy数组，您可能应该使用可扩展数组（array）

---

如果你有一个numpy结构的数组，你应该使用一个表。

你事先不知道数组的数量，但是你知道它们的大小吗？你不知道行的数量，你知道列的数量。你事先不知道数组的数量，但是你知道它们的大小吗？你不知道行的数量，您知道列的数量。