Apache spark \在Spark'中列出所有数据帧;s当前会话/内存
我在PySpark中为不同的变量名分配了10个DFs,例如:Apache spark \在Spark'中列出所有数据帧;s当前会话/内存,apache-spark,pyspark,apache-spark-sql,Apache Spark,Pyspark,Apache Spark Sql,我在PySpark中为不同的变量名分配了10个DFs,例如: var1=DF1,var2=DF2等。 Spark/PySpark中是否有内置函数列出内存/会话中的所有DFs?或者其他方式?您可以通过以下方式进行调整: 如果对象已注册,则目录将有助于: spark = ... # SparkSession spark.catalog.listTables() 根据我的背景制作了一些版本。效果很好。谢谢 spark = ... # SparkSession spark.catalog.li
var1=DF1
,var2=DF2
等。
Spark/PySpark中是否有内置函数列出内存/会话中的所有DFs?或者其他方式?您可以通过以下方式进行调整:
如果对象已注册,则目录将有助于:
spark = ... # SparkSession
spark.catalog.listTables()
根据我的背景制作了一些版本。效果很好。谢谢
spark = ... # SparkSession
spark.catalog.listTables()