Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Pyspark获取最大值排除NaN_Apache Spark_Pyspark_Nan - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark Pyspark获取最大值排除NaN

Apache spark Pyspark获取最大值排除NaN

apache-spark pyspark

Apache spark Pyspark获取最大值排除NaN,apache-spark,pyspark,nan,Apache Spark,Pyspark,Nan,结果是： df = spark.createDataFrame([(1.0,100.0, float('nan')), (float('nan'),100.0, 2.0)], ("a", "b")) df.select(F.max(df.a)).show() 我不想要NaN，我该怎么办？你可以做 +------+ |max(a)| +------+ | NaN| +------+ 在应用maxfilter之前，如果max是负数，则会出现问题。 df.na.fill(0)

结果是：

df = spark.createDataFrame([(1.0,100.0, float('nan')), (float('nan'),100.0, 2.0)], ("a", "b"))
df.select(F.max(df.a)).show()
我不想要NaN，我该怎么办？

你可以做

+------+
|max(a)|
+------+
|   NaN|
+------+
在应用
max
filter

之前，如果max是负数，则会出现问题。 
df.na.fill(0)