如何查找pyspark数据帧的大小_Pyspark_Pyspark Dataframes

如何查找pyspark数据帧的大小

pyspark

如何查找pyspark数据帧的大小,pyspark,pyspark-dataframes,Pyspark,Pyspark Dataframes,我有一个两个pyspark数据帧，如下所示 df1：- +---+----------+------+ |age| dob|is_fan| +---+----------+------+ | 30|1990-05-04| true| | 26|1994-09-24| false| +---+----------+------+ df2：- +---+----------+------+ |age| dob|is_fan| +---+------

我有一个两个pyspark数据帧，如下所示

df1：-

 +---+----------+------+
 |age|       dob|is_fan|
 +---+----------+------+
 | 30|1990-05-04|  true|
 | 26|1994-09-24| false|
 +---+----------+------+

df2：-

  +---+----------+------+
  |age|       dob|is_fan|
  +---+----------+------+
  | 29|1990-05-03|  true|
  | 25|1994-09-23| false|
  +---+----------+------+

我正在对此进行联合操作，并创建新的数据帧df3

+---+----------+------+
|age|       dob|is_fan|
+---+----------+------+
| 29|1990-05-03|  true|
| 25|1994-09-23| false|
| 30|1990-05-04|  true|
| 26|1994-09-24| false|
+---+----------+------+

我想找到df3数据帧的大小（MB）。对于单数据FRME df1，我尝试了下面的代码，并在统计部分查找它。但联合后存在多个统计参数

dd3.createOrReplaceTempView('test')
spark.sql('explain cost select * from test').show(truncate=False)

在联合操作之后，是否有其他方法可以找到数据帧的大小