Pandas Pyspark数据帧中的转置_Pandas_Pyspark_Spark Dataframe

Pandas Pyspark数据帧中的转置

pandas pyspark

Pandas Pyspark数据帧中的转置,pandas,pyspark,spark-dataframe,Pandas,Pyspark,Spark Dataframe,我是PySpark Dataframe的新手。在这个链接中，他们正在使用熊猫数据帧，而我希望使用Spark数据帧实现同样的效果。我被困在了一个问题上，我想把这个表调换一下，但我找不到更好的方法。由于有太多的专栏，我发现很难实现和理解Pivot。有没有更好的办法？我可以在具有群集环境的Pyspark中使用pandas吗？在Pyspark API中，Pyspark.mllib.linalg.distributed.BlockMatrix具有转置功能。如果您的df具有列id、功能 bm_transp

我是PySpark Dataframe的新手。在这个链接中，他们正在使用熊猫数据帧，而我希望使用Spark数据帧实现同样的效果。我被困在了一个问题上，我想把这个表调换一下，但我找不到更好的方法。由于有太多的专栏，我发现很难实现和理解Pivot。有没有更好的办法？我可以在具有群集环境的Pyspark中使用pandas吗？

在Pyspark API

中，Pyspark.mllib.linalg.distributed.BlockMatrix

具有转置功能。如果您的df具有列

id、功能

bm_transpose = IndexedRowMatrix(df.rdd.map(lambda x:(x[0],
                  Vectors.dense(x[1])))).toBlockMatrix(2,2).transpose()