Pyspark数据帧元数据
有没有办法获取所有数据帧的元数据？我感兴趣的是一些数据帧列表，其中包含每个数据帧的相关信息（内存分布信息等）。我在文档中没有看到任何说明如何执行此操作的内容 当我有内存问题时，我认为这是一个故障排除工具。如果我正在编写一个创建、缓存和取消持久化大量数据帧的大型脚本，那么能够显示一个数据帧列表就非常好了，这样我就可以查看是否遗漏了任何内容，或者缓存设置有误或者类似的情况Pyspark数据帧元数据,pyspark,Pyspark,有没有办法获取所有数据帧的元数据？我感兴趣的是一些数据帧列表，其中包含每个数据帧的相关信息（内存分布信息等）。我在文档中没有看到任何说明如何执行此操作的内容 当我有内存问题时，我认为这是一个故障排除工具。如果我正在编写一个创建、缓存和取消持久化大量数据帧的大型脚本，那么能够显示一个数据帧列表就非常好了，这样我就可以查看是否遗漏了任何内容，或者缓存设置有误或者类似的情况 感谢检查缓存的DF，我认为spark.catalog是最好的选择。对于内存管理，除了查看驱动程序的网页，我不知道。谢谢你的帮助。
感谢检查缓存的DF，我认为spark.catalog是最好的选择。对于内存管理，除了查看驱动程序的网页，我不知道。谢谢你的帮助。这看起来至少是我想要的一部分。要检查缓存的DF，我认为spark.catalog是最好的选择。对于内存管理，除了查看驱动程序的网页，我不知道。谢谢你的帮助。这看起来至少是我要找的东西的一部分。