Python Clob&;JSON解析与JSON中节点的专用表

Python Clob&;JSON解析与JSON中节点的专用表,python,json,django,oracle,Python,Json,Django,Oracle,我们目前正在评估一个项目的各种数据层设计 我们有来自不同来源的JSON数据(不超过几个meg&不到500个节点)。我们已经确定了两种方法。此外,我们预计并发请求不会超过500个 将JSON存储为数据库中的CLOB,以及pythonjson模块,以解析和提取web应用程序使用的所需字段 为JSON节点设计表,并将其存储在专用的oracle表中,然后检索以与web应用程序一起使用 在我们的POC和性能测试之前,需要任何三度视图/建议 谢谢你的帮助。我知道这个问题的范围更广,但我认为它足够具体,可以在

我们目前正在评估一个项目的各种数据层设计

我们有来自不同来源的
JSON
数据(不超过
几个meg
&不到
500个
节点)。我们已经确定了两种方法。此外,我们预计并发请求不会超过500个

  • JSON
    存储为数据库中的
    CLOB
    ,以及
    pythonjson
    模块,以解析和提取web应用程序使用的所需
    字段
  • JSON节点设计表
    ,并将其存储在专用的
    oracle表中
    ,然后检索以与
    web应用程序一起使用
  • 在我们的POC和性能测试之前,需要任何三度视图/建议

    谢谢你的帮助。我知道这个问题的范围更广,但我认为它足够具体,可以在这里加以考虑

    更新:

  • 我们使用oracle11g
  • 要求不是报告,而是在Web应用程序上显示内容
  • 该web应用程序预计每天有
    10k-30k个请求
    ,我们将为每个请求解析JSON。所以这是
    10k-30k
    次/天。
  • 这只是更大的web应用程序的一部分

  • 我们试图建立的是,
    是否值得拥有500多列(多个表)
    JSON解析相比,后者可以用更快的Python DICT处理。

    Oracle的哪个版本?如果您使用的是12.1,Oracle提供了对JSON的本机支持,这可能是第三种选择。除此之外,还将取决于您需要解析JSON的频率、您需要做什么样的报告、您的瓶颈将是什么等等。除了对每种方法进行原型设计并衡量哪些方法最适合您的应用程序和环境之外,很难猜测。一个特定的JSON字符串将被解析多少次?如果有一半的字符串从未被解析过,那么其余的大部分字符串将被读取并解析一次,而只有少数字符串被多次读取,那么在输入时解析它们就没有什么意义了。如果每个JSON字符串都被读取一千次,那么提前解析它可能更有意义。添加要显示的新元素的频率是多少?我不确定你说Python“无论如何都快”是什么意思——比什么快?不是所有的JSON字段都会同时被解析,但肯定每个字段每天都会被解析几千次。因为我们有500多个字段(可能是至少5个表),所以我们认为作为JSON处理是否比一次从5个表连接/获取数据更好。无论如何,我所说的更快,是指在python中JSON被解析为DICT,而DICT使用哈希表,所以速度必须更快。那么你是说每一行每天都要被读取(并可能被解析)数千次?如果您只期望每天有10到数千次读取,这意味着您只有10个JSON字符串。那真的是对的吗?这当然是可能的,但这很不寻常。@TheStart我已经多次遇到过这种情况,但每次我们都使用关系数据库功能。从来没有做过全面的分析,一定要让我们知道你的分析结果和结论