Amazon web services AWS Glue：在写入后将分区列保留为行中的值

有人知道是否可以告诉Glue编写器在实际数据帧中保留正在分区的列

这里，$outpath是S3中基本输出路径的占位符。这个 partitionKeys参数也可以在Python中的 连接选项说明：

执行此写入操作时，类型字段将从 单独记录并在目录结构中编码

---

我想在个人记录中保留

type

字段。

我不能100%确定是否可以让Glue保留该列，但在此期间，您可以使用以下解决方法：

projectedEvents = projectedEvents.withColumn("type_partition",projectedEvents["type"])
        
glue_context.write_dynamic_frame.from_options(
                   frame=projectedEvents,
                   connection_options={"path": "$outpath", "partitionKeys": ["type_partition"]}, 
                   format="parquet"
             )

---

喊得好。谢谢

projectedEvents = projectedEvents.withColumn("type_partition",projectedEvents["type"])
        
glue_context.write_dynamic_frame.from_options(
                   frame=projectedEvents,
                   connection_options={"path": "$outpath", "partitionKeys": ["type_partition"]}, 
                   format="parquet"
             )