Dictionary 如何将数据集转换为repo中的字典。我在铸造厂使用pyspark

我创建了一个要同步到数据集的融合表数据。现在，我想使用该数据集在repo中创建一个字典。我在回购协议中使用pyspark。稍后，我想使用要传递的字典，以便它填充描述

---

如果有人能帮助我在repo中使用pyspark从数据集创建字典，那就太好了。

以下代码将把pyspark数据框转换成字典列表：

fusion\u rows=map（lambda行：row.asDict（），fusion\u df.collect（））

但是，在您的特定情况下，可以使用以下代码段：

col_descriptions={row[“column_name”]：fusion_df.collect（）中行的row[“description”]
my_output.write_数据帧(
my_input.dataframe（），
列描述=列描述
)

假设您的融合表如下所示：

+------------+------------------+
| column_name|       description|
+------------+------------------+
|       col_A| description for A|
|       col_B| description for B|
+------------+------------------+