Amazon web services 在AWS Glue中聚合数据帧的好方法是什么

Amazon web services 在AWS Glue中聚合数据帧的好方法是什么,amazon-web-services,apache-spark,spark-dataframe,aws-glue,Amazon Web Services,Apache Spark,Spark Dataframe,Aws Glue,我正在尝试用AWS胶水聚合数据帧。我使用了以下pySpark代码来执行聚合: mydataframe.groupby('id').agg({'value', 'operation'}) 有没有更好的方法在AWS Glue中执行聚合 谢谢 我使用pyspark将其转换为Dataframe并进行聚合,然后将其转换回Dynamicframe。但是,您似乎需要手动向数据帧添加分区。使用better way是什么意思?更有效率?更具可读性?rileyss@,你能分享一段代码片段供参考吗?

我正在尝试用AWS胶水聚合数据帧。我使用了以下pySpark代码来执行聚合:

mydataframe.groupby('id').agg({'value', 'operation'})
有没有更好的方法在AWS Glue中执行聚合


谢谢

我使用
pyspark
将其转换为
Dataframe
并进行聚合,然后将其转换回
Dynamicframe
。但是,您似乎需要手动向数据帧添加分区。

使用better way是什么意思?更有效率?更具可读性?rileyss@,你能分享一段代码片段供参考吗?