Apache spark 在Hadoop中如何计数？

我有一大堆书名。我想计算整个数据集中的每个标题。例如：

`title`

A
b
A
c
c
c

输出：

title fre
    A   2
    b   1
    c   3

我正在寻找一种在Hadoop中使用reduce函数的快速方法。我知道以下方法：

import pyspark.sql.functions as f
df.groupBy('title').agg(f.count('*').alias('count')).show()

---

我还需要获得出现次数少于10次的标题。

如果您想使用RDD，可以尝试以下代码：

grouped_rdd = (df.rdd.map(lambda r: (r[0], 1))
                 .reduceByKey(lambda x, y: x + y)
                 .sortBy(lambda r: -r[1])    # descending order; remove - if ascending.
                 .take(10)
              )

grouped_df = spark.createDataFrame(grouped_rdd, ['title', 'count'])

---

但我不确定这是否会比

df.groupBy（'title'）.count（）快。

Py4JJavaError:调用z:org.apache.spark.api.python.PythonRDD.collectAndServe时出错：org.apache.spark.sparkeexception:作业因阶段失败而中止：阶段101.0中的任务0失败1次，最近的失败：阶段101.0中的任务0.0丢失（TID 611，192.168.1.102，执行器驱动程序）：org.apache.hadoop.fs.FSError:java.io.IOException:设备未配置

@elham非常奇怪的错误，不应该与代码相关。尝试重新启动应用程序