Apache spark 是否有使用pyspark计算列平均值的代码？
我想使用spark RDD和数据帧计算每个城市的平均enternum groupby city。我想要两种方式 此外，在计算平均值时，如何忽略前两个标题行 我尝试过使用RDD和数据帧。但都没有成功 这是输入csv文件 城市、类型、enterdate、enternum 縣市,軍種類別,入營日期,入營人數 臺北市,陸軍,1040713150 臺北市,陸軍,1040813210 臺北市,陸軍,1040827180 臺北市,陸軍,1040915300 这是python代码：Apache spark 是否有使用pyspark计算列平均值的代码？,apache-spark,pyspark,apache-spark-sql,Apache Spark,Pyspark,Apache Spark Sql,我想使用spark RDD和数据帧计算每个城市的平均enternum groupby city。我想要两种方式 此外，在计算平均值时，如何忽略前两个标题行 我尝试过使用RDD和数据帧。但都没有成功 这是输入csv文件 城市、类型、enterdate、enternum 縣市,軍種類別,入營日期,入營人數 臺北市,陸軍,1040713150 臺北市,陸軍,1040813210 臺北市,陸軍,1040827180 臺北市,陸軍,1040915300 这是python代码： if __name__=="
if __name__=="__main__":
#RDD
rdd = sc.textFile("junren.csv").flatMap(lambda line: line.split(",")[3])
rdd.mean().show()
#datefrmae
sqlContext = SQLContext(sc)
df = sqlContext.read.load('junren.csv',format='com.databricks.spark.csv',header='true',inferSchema='true',encoding='UTF-8')
df.mean("enternum").show()
#df.groupBy('city').agg(avg(col('enternum'))).show()
从错误的最后一行开始，我相信您的列是“String”类型。因此，我使用SQL cast方法将其转换为“整数”类型
from pyspark.sql import functions as F
from pyspark.sql.types import IntegerType
#Entire column average
df.select(F.avg(df.enternum.cast(IntegerType()))).show()
#City wise average
df.groupby('City').agg(F.avg(df.enternum.cast(IntegerType())).alias('Average_enternum')).show()
谢谢你的回答！但是我无法导入F.avg如何导入spark.sql.functions.avg？@Gyu lim Shim，pyspark.sql import functions as F的第一行“导入整个sql函数包”。或者，您可以通过将第一行替换为“from pyspark.sql.functions import AVG”仅导入AVG方法，并在代码的下一部分中使用“AVG”而不是“F.AVG”。希望这是有帮助的！