Python 如何在数据框中的列内处理json数据集

我在spark中有一个数据框，其中一列包含json类型的数据

column3:
z:{
    k:{
        q1:null,
        q2:1,
        q3:23,
        q4:null,
        q5:{v1:null, v2:wers, v3:null}
        a1:['sdsad','wqeqw'],
        d1:'123_23'
    },
    l:{ 
        w1:wwew
        w2:null
        w4:123
    }
}

我如何处理上面json中的内容并执行一些操作，如：分解列d1:“\u23”上的“123\u23”并将其添加为数据帧中的另一列

如何读取json中有多少键没有空值。如果有任何数组，那么如何计算该数组的元素

因此，我的数据框架如下所示：

下面是示例数据帧：

col1 : gf23431  
col2 : 6728103  
col3 : "z:{
 k:{
  q1:null,
  q2:1,
  q3:23,
  q4:null,
  q5:{v1:null, v2:wers, v3:null}
  a1:['sdsad','wqeqw'],
  d1:'123_23'
 },
 l:{ 
  w1:wwew
  w2:null
  w4:123
 }
}"  
col4 : 3658

所需的输出列：

“k:”7下的总键数
键“k：”下的非空值总数：5//具有非空值的键计数

键“q5:”3下的总键数
键“q5:”1下的总非空值
“a1:”2下的总值
拆分“d1:”下的值，并添加另一列246//将第一个值乘以2，然后作为数据帧中的另一列添加

因此，输出列将是：

col5 : 7
col6 : 5
col7 : 3
col8 : 1
col9 : 2
col10: 246

---

使用类似于

get\u json\u object

的函数来提取所需的字段。您可以将它们与null等进行比较。。就好像这些字段只是常规的数据帧列一样。还可以查看其他函数，如数组长度、贴图等

---

很难理解你在问什么。您能不能请您的问题包含一个小的和相应的所需输出？这看起来不像JSON数据