Pyspark 在Spark Azure Databricks中创建自定义进度条指示器

我想为我在pyspark Azure Databricks中运行的作业创建自定义进度条。我尝试使用matplotlib创建多个图形，并为每个图形逐个调用display，但输出仅在整个作业完成时显示，因此它不是一个进度条

有没有一种简单的方法来创建这样一个显示，它也会随着进度而更新

谢谢你的帮助

---

此功能已在Azure Databricks中提供：是的，当然，但我指的是在Databricks中运行单元格后所使用的webui。我想用在我的背景下更有意义的东西来代替它。