Python 在大熊猫中存储分层数据的最佳方法

Python 在大熊猫中存储分层数据的最佳方法,python,json,pandas,data-science,Python,Json,Pandas,Data Science,我试图使用pandas来存储分层数据,这些数据由一些长数组组成,包含位置数据(纬度、经度等)以及关于测试名称、日期和其他一些元信息的更多细节。其结构如下所示: Dataframe |---- Position|---- Latitude (float array,length=N) | |---- Longitude(float array,length=N) | |---- Timestamp(float array,l

我试图使用pandas来存储分层数据,这些数据由一些长数组组成,包含位置数据(纬度、经度等)以及关于测试名称、日期和其他一些元信息的更多细节。其结构如下所示:

 Dataframe
    |---- Position|---- Latitude (float array,length=N)
    |             |---- Longitude(float array,length=N)
    |             |---- Timestamp(float array,length=N)
    |
    |---- Test Name(string)
    |---- Test Date(string)
    |---- Measurement Device(string)
    |---- etc.
我的问题是,元数据的元素(包括测试名称等)与其他数组形状的数据的长度不同,我需要找到一种方法将它们存储在一个pandas数据结构(如pandas Dataframe)中

我在互联网上搜索了解决方案,发现熊猫的分层索引功能是一个潜在的解决方案。但当我试图将这样的数据帧保存为.json文件时,输出的json文件包含语法错误,无法打开


我的问题是,有人知道用pandas存储具有长度的分层数据的有效方法吗?

在进行转换之前,您需要将json展平,为此,您没有向任何人提供任何数据来帮助您。你的问题非常主观,并且取决于你的原始数据。我在这里猜测一下,但是如果你想存储地理信息以及每个位置的数据,可以使用单独的表。其中一个将由DataFrame(每个DataFrame一行)使用该DataFrame的属性进行唯一键控。另一个将由(数据帧、位置)唯一设置关键帧。您可以在必要时合并/映射其他信息。@ALollz如果我想将数据帧另存为文件,我应该为每个数据帧分别设置两个文件吗?@piRSquared我一定会看一看。我也可以将其保存为JSON或hf5文件吗?