Apache spark Apache Spark中的'count()'返回的值有任何限制吗

Apache spark Apache Spark中的'count()'返回的值有任何限制吗,apache-spark,pyspark,Apache Spark,Pyspark,PySpark API.count()返回的值是否有任何绑定 对于ex,让C为任何非常大的RDD。以下是pyspark代码片段: t = C.count() 在什么情况下,t的值将无效或未定义?来自 def count():Long=sc.runJob(this,Utils.getIteratorSize)。sum 如您所见,count返回Long,因此t的最大大小将受到Long的定义的限制,即64位有符号值=-9223372036854775808到9223372036854775807,即

PySpark API
.count()
返回的值是否有任何绑定

对于ex,让
C
为任何非常大的RDD。以下是pyspark代码片段:

t = C.count()
在什么情况下,
t
的值将无效或未定义?

来自

def count():Long=sc.runJob(this,Utils.getIteratorSize)。sum

如您所见,count返回
Long
,因此t的最大大小将受到
Long
的定义的限制,即
64位有符号值=-9223372036854775808到9223372036854775807,即(-2^63到2^63-1,包括在内)
,或者换句话说,count可以达到2^64=18446744073709551616

从系统本身:

def count():Long=sc.runJob(this,Utils.getIteratorSize)。sum

如您所见,count返回
Long
,因此t的最大大小将受到
Long
的定义的限制,即
64位有符号值=-9223372036854775808到9223372036854775807,即(-2^63到2^63-1,包括在内)
,或者换句话说,count可以达到2^64=18446744073709551616