Apache spark PySpark-如何检查对象{RDD、DF、List等，.}是否已分发_Apache Spark_Pyspark_Apache Spark Sql

Apache spark PySpark-如何检查对象{RDD、DF、List等，.}是否已分发

apache-spark pyspark

Apache spark PySpark-如何检查对象{RDD、DF、List等，.}是否已分发,apache-spark,pyspark,apache-spark-sql,Apache Spark,Pyspark,Apache Spark Sql,我正在寻找一种解决方案来检查对象数据是否分布在集群上，或者对象的全部数据是否位于驱动程序上。对象可以是RDD、DataFrame或list对象之类的任何对象这将帮助我优化spark作业的执行时间。df.isLocal（）我的数据框返回false，这意味着数据在工作节点上，对吗？是的。您还可以在浏览器中检查spark UI

我正在寻找一种解决方案来检查对象数据是否分布在集群上，或者对象的全部数据是否位于驱动程序上。对象可以是RDD、DataFrame或list对象之类的任何对象

这将帮助我优化spark作业的执行时间。

df.isLocal（）我的数据框返回false，这意味着数据在工作节点上，对吗？是的。您还可以在浏览器中检查spark UI