Python 将一个大型JSON文件转换为最多1000行的多个JSON文件

Python 将一个大型JSON文件转换为最多1000行的多个JSON文件,python,json,pandas,Python,Json,Pandas,我正在尝试使用Python将数据不断增加的大型JSON文件解析为最多1000行的较小文件 到目前为止,我已经成功地打印了多达1000行,但现在我陷入了下一步的困境: with open(input_file) as f: count = 0 data = (lines for lines in f if count < 1000) for x in data: count +=1 print (x + str(count)) 打开(输入文件)作为f: 计数=0 数据=(如

我正在尝试使用Python将数据不断增加的大型JSON文件解析为最多1000行的较小文件

到目前为止,我已经成功地打印了多达1000行,但现在我陷入了下一步的困境:

with open(input_file) as f:
count = 0
data = (lines for lines in f if count < 1000)
for x in data:
    count +=1
    print (x + str(count))
打开(输入文件)作为f:
计数=0
数据=(如果计数<1000,则f中的行对应的行)
对于数据中的x:
计数+=1
打印(x+str(计数))
既然这需要一个可扩展的解决方案,那么还有什么其他的想法可以让我做得更好吗

编辑: JSON的内部结构类似于以下内容: {“时事通讯”:1,“语言”:“gv”,“国家”:“UY”,“用户名”:“xy32”,“电子邮件”:xyz@gm.com,“用户id”:138123918}


我正在做一个项目,我的导师希望我将一个包含数百万行JSON的大文件拆分成每行1000行的小文件。

JSON文件有一个内部结构,所以不能在任何一行上打断它,因为结果将不是一个有效的JSON。由于JSON文件是相互嵌套的字典和列表的组合,因此最好将同一列表中的JSON元素分开

以下是一个例子:

{'Big JSON':[{'little JSON1':values},{'little JSON2':values}]}
这可以分解为

{'Big JSON':[{'little JSON1':values}]}


分解JSON的确切代码取决于JSON文件的内部结构。但重要的是,您的每个文件都必须是独立的有效JSON文件

您能给我们更多关于JSON文件内部结构的信息吗?该文件是否太大而无法进入内存?一个包含JSON有效文档列表的文件仅仅是一个文档吗?这是个好主意吗?您正在将有效的JSON分割成单独的文件。如果你的数据在一个JSON列表中有很多不同的值,那么你可能想考虑使用直接代替JSON的生成器,它依赖于全局状态,是相当脆弱的。它总是贯穿整个文件。您需要从itertools导入islice中获取
;islice(f,1000)
。但这只是在你想这样做的时候,这还不清楚,因为你不能随意地分解一个JSON文件并期望结果是有意义的。。
{'Big JSON':[{'little JSON2':values}]}