Apache spark 如何列出Spark shell中定义的RDD？

在“spark shell”或“pyspark”shell中，我创建了许多RDD，但我找不到任何方法可以列出当前spark shell会话中所有可用的RDD？

在Python中，您只需尝试按类型筛选

全局数据即可：

def list_rdds（）：
从pyspark导入RDD
返回[k for（k，v）in globals（）.items（）如果是instance（v，RDD）]
列表rdds（）
# []
rdd=sc.parallelize（[]）
列表rdds（）
#['rdd']

在Scala REPL中，您应该能够以类似的方式使用
$intp.definedTerms
/
$intp.typeOfTerm
。
RE:Scala REPL:works-great:nice-tip。现在我如何记住这些命令……）你能在@javadba发布一个解决方案吗？也许可以扩展@zero323的答案。@JacekLaskowski我尝试过类似的方法，但要让它成为答案还远远不够（更不用说显示我对Scala编译器完全缺乏了解）。我不会投反对票，但这只适用于在全局范围内定义的RDD。如果在函数（例如帮助函数）中创建了RDD，它将不在全局范围内。