使用Python读取堆叠的JSON文件
我有一个很大的JSONS文件(4,5GB),我不能用Python一次打开它。该文件由数百万行组成,都是JSON格式的。每一行都是括号中的单独JSON文件,因此文件格式为:使用Python读取堆叠的JSON文件,python,json,dataframe,import,Python,Json,Dataframe,Import,我有一个很大的JSONS文件(4,5GB),我不能用Python一次打开它。该文件由数百万行组成,都是JSON格式的。每一行都是括号中的单独JSON文件,因此文件格式为: {JSON} {JSON} {JSON} ... 我希望能够一行一行地阅读文件,或者一次阅读200行,但我不知道如何做到这一点。 是否可以逐行读取文件,然后将各个JSON的所需部分放入数据帧中?还是数据帧太大而无法处理 提前谢谢 如果您使用python读取文件的常用方式打开一个文件,那么您会逐行读取它。所以你可以这样做 wi
{JSON}
{JSON}
{JSON}
...
我希望能够一行一行地阅读文件,或者一次阅读200行,但我不知道如何做到这一点。
是否可以逐行读取文件,然后将各个JSON的所需部分放入数据帧中?还是数据帧太大而无法处理
提前谢谢 如果您使用python读取文件的常用方式打开一个文件,那么您会逐行读取它。所以你可以这样做
with open('big.json', 'r') as f:
for line in f:
#select stuff
您可以使用方法从文件中读取一行
JSON的所需部分可以存储在内存中,但请确保限制大小,然后将数据刷新到另一个文件或数据库有关读取jsonlines的信息,请参阅。你可以一次做200行类似的事情。“不能一次用Python打开”,是什么让你这么写的,你做了什么?我的电脑无法处理这么大的文件。如果你想让别人帮助你,最好能提供尽可能详细的信息,关于你已经尝试过的命令/模块。简单地说“我的电脑不能处理这么大的文件…”“/“不能用Python一次打开”并不能说明这个问题,如果你逐行阅读文件,我几乎可以肯定你的电脑可以处理这个文件。这是否回答了你的问题?