Python 如何将dict转换为火花贴图输出

我正在使用spark和python。我想转换我的输入数据集

我的输入数据集（RDD）

我想要这个数据帧（输出数据集）

我创建了一个映射函数

def process(row):
    my_dict = {}
    for item in row['value']:
        my_dict['id'] = row['id']
        my_dict['index'] = item['index']
        my_dict['value'] = item['value']

    return my_dict

我想将我的流程功能映射如下：

output_rdd = input_rdd.map(process)

有没有可能用这种方法（或更简单的方法）来实现这一点？

我找到了解决方案：

output_rdd = input_rdd.map(lambda row:process(row)).flatMap(lambda x: x)

---

谢谢你的回答。我的问题略有不同。我有嵌套字段，列的选择是在特定条件下完成的。但这篇文章为我提供了一个开始，让我可以回答这个问题。这就是我为什么分享它的原因。

output_rdd = input_rdd.map(process)

output_rdd = input_rdd.map(lambda row:process(row)).flatMap(lambda x: x)