从JSON到Python的实时解析

我正在尝试使用JSON_load（）将JSON文件解析为Python。我必须对大量文件实时执行此操作。目前，我有113个文件，解析时间约为15分钟（每个文件为250 Kb）！我必须只使用数据的某些部分进行实时绘图。有没有办法只从JSON文件中选择部分数据并将其转换为python？我正在使用os.walk（）对文件的目录和子目录进行爬网。我对JSON和Python比较陌生，请原谅我这个蹩脚的问题

抱歉，我无权分享这些文件。我正在做我的大学项目。这些文件包含来自移动设备的测量数据。数据包括从手机的所有内部传感器读取的数据及其网络状态（跟踪路由和ping延迟）

我通过安全连接在VM上编码，这是我代码的快照：

import os, fnmatch
import json
from pprint import pprint

data = []

#listing all files in the directory to read
def find_files(directory, pattern):
for root, dirs, files in os.walk(directory):
    for basename in files:
            if fnmatch.fnmatch(basename,pattern):
                    filename = os.path.join(root,basename)

                    json_data = open(filename)
                    data.append(json.load(json_data))
                    pprint(data)

                    #closing data
                    json_data.close()


find_files('/srv/www/data/client','*.dat')

---

我对Python和JSON比较陌生，也许我做错了什么？

你能给我一个250KB的JSON文件示例吗？我想看看我自己花了多长时间，因为15分钟应该足够容纳100多个文件。我们还需要查看您的解析代码。听起来你可能在做一些导致时间复杂度急剧上升的事情。“我必须只使用数据的某些部分进行实时绘图”-你给我们的代码显示整个对象被放置在

data

中，你的

pprint

是O（N^2）而不是O（N）-你的意思是

pprint（json\u数据）

，或者把它放在循环之外？@Eric我不知道如何从JSOn文件中只读取部分数据。。。有什么建议吗？