Apache spark ApacheSpark应用程序框架

我们正在PySpark中开发许多小型Spark应用程序。问题是所有的程序都需要非常相似的设置，并且经常需要做一些常见的事情，比如创建目录之类的事情。通常应用程序只是执行查询并将其写入CSV文件。我想知道是否有人知道一种管理此类脚本的好方法，可以将每个应用程序的重点放在逻辑上，而不是放在样板文件上

---

在web开发中，人们发明Spring是为了简化常见任务，并具有合理的默认设置。在Spark world中，我们重新使用shell脚本来运行Spark应用程序。是否有包装pyspark应用程序的最佳实践？Spark文档只解释了编写Spark应用程序的机制，而不是日常使用。

Apache Spark使用Java、Scala和Python与普通编程不同，您可以使用设计模式重用代码

这不是代码本身，而是它周围的所有管道