Apache spark Python API中是否有Spark SQL UDAF(用户定义的聚合函数)?

Apache spark Python API中是否有Spark SQL UDAF(用户定义的聚合函数)?,apache-spark,apache-spark-sql,spark-dataframe,Apache Spark,Apache Spark Sql,Spark Dataframe,从Spark 1.5.0开始,似乎可以为数据帧上的自定义聚合编写自己的UDAF: 但是,我不清楚Python API是否支持此功能?您无法在Spark 1.5.0-2.0.0中定义Python UDAF。JIRA正在跟踪此功能请求: 以“稍后”的目标解决,所以可能不会很快发生 您可以使用PySpark中的Scala UDAF-如前所述不支持。您可以调用Scala UDAF,但它并不漂亮。有关完整示例,请参阅至。@zero323现在在1.6 spark或1.61中可用吗?@stackit既

从Spark 1.5.0开始,似乎可以为数据帧上的自定义聚合编写自己的UDAF:


但是,我不清楚Python API是否支持此功能?

您无法在Spark 1.5.0-2.0.0中定义Python UDAF。JIRA正在跟踪此功能请求:

以“稍后”的目标解决,所以可能不会很快发生


您可以使用PySpark中的Scala UDAF-如前所述

不支持。您可以调用Scala UDAF,但它并不漂亮。有关完整示例,请参阅至。@zero323现在在1.6 spark或1.61中可用吗?@stackit既不是1.6.x也不是2.0。可能是的副本