用pyspark编写json格式

我想在pyspark中以json数据帧的形式编写一个数据帧，通过这种方式从pandas中编写json：

df.to_json(orient='columns') 

然后我得到了

'{"col 1":{"row 1":"a","row 2":"c"},"col 2":{"row 1":"b","row 2":"d"}}'

但是当我在AWS胶水里用这个的时候

df.write.mode('overwrite').json(path) 

我得到了这个格式：

df.to_json(orient='records')
'[{"col 1":"a","col 2":"b"},{"col 1":"c","col 2":"d"

---

我在pyspark中了解了json的参数，没有设置json格式的方法

pandas数据帧被设计成类似于字典的行为，而spark数据帧则不是这样。spark数据框更像一个列表。另外，请记住，spark数据帧是分区/分布式的，因此输出不一定有意义。pandas数据帧的行为设计类似于字典，而spark数据帧则不是这样。spark数据框更像一个列表。另外，请记住，spark数据帧是分区/分布式的，因此输出不一定有意义。