Python-读取JSON大数据

Python-读取JSON大数据,python,json,r,bigdata,Python,Json,R,Bigdata,我想阅读Python/R中的JSON数据(12GB) 如果我使用json.loads()函数,它会给出一个内存错误 我对数据一无所知。可以读取数据的一部分吗 请帮助这可能会有帮助 搜索“python json sax parser”,您可以获得其他解决方案。如果RAM上没有超过12GB的数据,您将无法读取12GB的数据。看看这个:是单个json对象的数据吗?或者你能分成更小的块吗?回答@Hamish的问题,这很重要。如果文件是一堆单独行上的json对象,那么单独解析每行就很简单了。如果没有,您将

我想阅读Python/R中的JSON数据(12GB)

如果我使用json.loads()函数,它会给出一个内存错误

我对数据一无所知。可以读取数据的一部分吗

请帮助

这可能会有帮助


搜索“python json sax parser”,您可以获得其他解决方案。

如果RAM上没有超过12GB的数据,您将无法读取12GB的数据。看看这个:是单个json对象的数据吗?或者你能分成更小的块吗?回答@Hamish的问题,这很重要。如果文件是一堆单独行上的json对象,那么单独解析每行就很简单了。如果没有,您将不得不使用流式解析器(qiangwang和PepperOni),该解析器允许您在解析数据时查看数据,保留所需内容,并丢弃其余内容。