Scala 我们如何使用JUnit进行Spark数据帧测试？

我们正在尝试使用JUnit构建一个集成测试套件。我们的管道（使用Scala内置Spark）将数据帧作为输出，我们计划将它们与使用一些config/JSON输入传递的预期输出进行比较。我们有一些与JUnit集成的内部工具，用于覆盖率和CI/CD，因此我们需要一种将JUnit与数据帧比较集成的方法，但我们找不到任何这样的示例

---

有没有人见过我们可以参考的这种实现？

您可以在测试中启动本地spark上下文。确保为整个测试运行只创建一个上下文。在每个test.collect（）中，收集数据集（小样本），并将其与JSON进行比较

下面是一个带有@BeforeClass的ctx设置的伪代码示例

    @BeforeClass
    public void init() {
        SparkConf conf = new SparkConf();
        conf.setMaster("local");
        conf.setAppName("junit");
        ctx = new JavaSparkContext(conf);     
    }