Python 在同一CSV文件中保存多个大小不同的列/变量

我有大约100列，每列中都有大量的值。我想将它们保存在CSV文件中，以便读取该文件并在代码中使用这些列中的值。唯一的问题是，这些列彼此不相关，并且长度不同，因此从技术上讲，它们不是数据帧的一部分

我想把它们存储在一个CSV文件中，然后分别阅读每一列并在代码中使用。因为这些列的长度不同，并且不是数据帧的一部分，所以我想在使用它之前，我必须过滤掉每列中的

NaN

值

我想知道是否有一种更简单的方法可以存储（在文件中）和读取这些列。我在想可能是列表或类似的东西

---

提前感谢。

CSV格式不适合您的任务

<>因为你已经有了一系列的数据文件，我建议你考虑HDF5在一个文件中高效地存储数据文件。您可以同时启用压缩：

for idx, df in enumerate(list_of_dfs):
    df.to_hdf('data.h5', f'df_{idx}', complib='zlib', complevel=5)

这会将有序标识符附加到每个数据帧，即

df_0

，

df_1

，等等。然后，您可以通过

pd.read_hdf

读取特定的数据帧。例如：

first_df = pd.read_hdf('data.h5', key='df_0')

---

我有大约100列，每列中都有大量的值。

您的数据是如何存储在Python中的？NumPy数组、Pandas系列、Python列表等等？从哪里获取数据？谁或什么程序将数据保存到文件中？由于您的列彼此不相关且长度不同，我建议为每列使用一行。通过这种方式，您可以逐行解析csv，并依次提取每个“列”。您还可以将数据保存为xml或jason，这是一种非常灵活的数据存储格式，支持跨编程语言。谢谢jpp和jochen。数据已手动创建并存储在CSV文件中。我通常读取CSV文件并将数据放入熊猫数据框中。嗨，jochen。我曾考虑将每个变量的值保存在一行中，但负责数据输入的人员使用excel列比使用行更容易。不幸的是，我没有任何用jason或xml手动保存数据的经验。