Apache spark 具有优化计划的数据集大小返回的数字太大

Apache spark 具有优化计划的数据集大小返回的数字太大,apache-spark,java-8,Apache Spark,Java 8,我有一个小数据集,当作为拼花地板写入时,它占用82kb 我试图用下面的命令预先计算数据集的大小 BigInt original Size = SparkUtility.sparkSession().sessionState().executePlan(dataSet.queryExecution().logical()).optimizedPlan().stats().sizeInBytes(); 这里的问题是它太大了,例如它返回15533038584747465490(1e)。谁能解释一下我

我有一个小数据集,当作为拼花地板写入时,它占用82kb

我试图用下面的命令预先计算数据集的大小

BigInt original Size = SparkUtility.sparkSession().sessionState().executePlan(dataSet.queryExecution().logical()).optimizedPlan().stats().sizeInBytes();

这里的问题是它太大了,例如它返回15533038584747465490(1e)。谁能解释一下我做错了什么?。我希望值应该是82000(字节)

在Java中从未听说过
BigInt
。你是说
biginger