Apache spark 在Spark中连接潜在的空数据帧

Apache spark 在Spark中连接潜在的空数据帧,apache-spark,spark-dataframe,Apache Spark,Spark Dataframe,我有四个来自四个CSV的数据帧,它们加入Spark中的最后一个数据帧,所有这些数据帧都带有设置模式。然而,有时只有1-3个数据帧通过,但它们仍然会被加入到最终的数据帧中,缺失/空数据帧中的缺失值为null。这样做的最佳方法是什么?我尝试进行外部联接,但问题是我无法在空数据帧上联接。您可以通过以下方式检查数据帧是否为空: 我是空的 如果你发现它是空的,做一个左外连接

我有四个来自四个CSV的数据帧,它们加入Spark中的最后一个数据帧,所有这些数据帧都带有设置模式。然而,有时只有1-3个数据帧通过,但它们仍然会被加入到最终的数据帧中,缺失/空数据帧中的缺失值为null。这样做的最佳方法是什么?我尝试进行外部联接,但问题是我无法在空数据帧上联接。

您可以通过以下方式检查数据帧是否为空: 我是空的

如果你发现它是空的,做一个左外连接