Python 在JSON文件中搜索记录并附加到数据帧

Python 在JSON文件中搜索记录并附加到数据帧,python,json,python-3.x,spyder,Python,Json,Python 3.x,Spyder,我有一个非常大的json文件(3m+记录),当我尝试使用pandas导入它时,它会导致内存问题 data=pd.read\u json(“json\u large\u file.json”) 当文件超过100k条记录时,此过程会导致问题 为了解决这个问题,我想打开文件,搜索记录中的标识符(例如Customer_Number),然后将其附加到数据帧中 这是可能的吗?如何做到这一点?您是否考虑过将文件分块读取?pandas读取函数具有可选参数chunksize。不熟悉该函数。你是否考虑过将文件分块

我有一个非常大的json文件(3m+记录),当我尝试使用pandas导入它时,它会导致内存问题

data=pd.read\u json(“json\u large\u file.json”)
当文件超过100k条记录时,此过程会导致问题

为了解决这个问题,我想打开文件,搜索记录中的标识符(例如Customer_Number),然后将其附加到数据帧中


这是可能的吗?如何做到这一点?

您是否考虑过将文件分块读取?
pandas
读取函数具有可选参数
chunksize
。不熟悉该函数。你是否考虑过将文件分块读取?
pandas
读取函数具有可选参数
chunksize
。不熟悉该函数。我来看看