Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/295.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用Python读取堆叠的JSON文件_Python_Json_Dataframe_Import - Fatal编程技术网

使用Python读取堆叠的JSON文件

使用Python读取堆叠的JSON文件,python,json,dataframe,import,Python,Json,Dataframe,Import,我有一个很大的JSONS文件(4,5GB),我不能用Python一次打开它。该文件由数百万行组成,都是JSON格式的。每一行都是括号中的单独JSON文件,因此文件格式为: {JSON} {JSON} {JSON} ... 我希望能够一行一行地阅读文件,或者一次阅读200行,但我不知道如何做到这一点。 是否可以逐行读取文件,然后将各个JSON的所需部分放入数据帧中?还是数据帧太大而无法处理 提前谢谢 如果您使用python读取文件的常用方式打开一个文件,那么您会逐行读取它。所以你可以这样做 wi

我有一个很大的JSONS文件(4,5GB),我不能用Python一次打开它。该文件由数百万行组成,都是JSON格式的。每一行都是括号中的单独JSON文件,因此文件格式为:

{JSON}
{JSON}
{JSON}
...
我希望能够一行一行地阅读文件,或者一次阅读200行,但我不知道如何做到这一点。 是否可以逐行读取文件,然后将各个JSON的所需部分放入数据帧中?还是数据帧太大而无法处理


提前谢谢

如果您使用python读取文件的常用方式打开一个文件,那么您会逐行读取它。所以你可以这样做

with open('big.json', 'r') as f:
    for line in f:
        #select stuff

您可以使用方法从文件中读取一行


JSON的所需部分可以存储在内存中,但请确保限制大小,然后将数据刷新到另一个文件或数据库

有关读取jsonlines的信息,请参阅。你可以一次做200行类似的事情。“不能一次用Python打开”,是什么让你这么写的,你做了什么?我的电脑无法处理这么大的文件。如果你想让别人帮助你,最好能提供尽可能详细的信息,关于你已经尝试过的命令/模块。简单地说“我的电脑不能处理这么大的文件…”“/“不能用Python一次打开”并不能说明这个问题,如果你逐行阅读文件,我几乎可以肯定你的电脑可以处理这个文件。这是否回答了你的问题?