Apache spark Apache Spark中的'count()'返回的值有任何限制吗
PySpark APIApache spark Apache Spark中的'count()'返回的值有任何限制吗,apache-spark,pyspark,Apache Spark,Pyspark,PySpark API.count()返回的值是否有任何绑定 对于ex,让C为任何非常大的RDD。以下是pyspark代码片段: t = C.count() 在什么情况下,t的值将无效或未定义?来自 def count():Long=sc.runJob(this,Utils.getIteratorSize)。sum 如您所见,count返回Long,因此t的最大大小将受到Long的定义的限制,即64位有符号值=-9223372036854775808到9223372036854775807,即
.count()
返回的值是否有任何绑定
对于ex,让C
为任何非常大的RDD。以下是pyspark代码片段:
t = C.count()
在什么情况下,t
的值将无效或未定义?来自
def count():Long=sc.runJob(this,Utils.getIteratorSize)。sum
如您所见,count返回Long
,因此t的最大大小将受到Long
的定义的限制,即64位有符号值=-9223372036854775808到9223372036854775807,即(-2^63到2^63-1,包括在内)
,或者换句话说,count可以达到2^64=18446744073709551616 从系统本身:
def count():Long=sc.runJob(this,Utils.getIteratorSize)。sum
如您所见,count返回Long
,因此t的最大大小将受到Long
的定义的限制,即64位有符号值=-9223372036854775808到9223372036854775807,即(-2^63到2^63-1,包括在内)
,或者换句话说,count可以达到2^64=18446744073709551616