Scala spark版本[2.4.0]和[2.4.0.cloudera2]之间有什么区别

我查找了spark对的依赖关系，spark core有很多版本，在

Central

和

Cloudera

中，Central有

2.4.0

版本和Cloudera版本

2.4.0.Clouder1

或

2.4.0.Clouder2

例如，在spark core dependencies中，

RoaringBitmap

在Central中是版本

0.5.11

，在Cloudera中是版本

0.7.45

如果我的pom依赖项使用的是中心版本，我需要在spark

2.4.0.cloudera

版本上运行它。

---

我需要做什么？

区别在于

Cloudera2

是Cloudera完成的Spark的另一个构建，一般来说，它们应该是“相同的”，但它们之间确实有细微的区别。如果你只打算在cloudera集群上部署你的应用程序，我会编译成你能编译的最具体的版本。@LuisMiguelMejíaSuárez，如果我的应用程序依赖于RoringBitmap[0.7.45]，但生产环境的spark是2.4.0.cloudera1，RoringBitmap是[0.5.11]，如果Spark没有为该库公开任何类，我该如何编译它呢。您可以在自己的路径中隐藏自己的版本。这是一项复杂的任务，我无能为力。我建议你多读一些这方面的内容，如果你有进一步的问题，可以问一个新的（更具体的）问题另一种选择是使用Spark使用的同一版本，这可能更容易从jar包装中获得，但需要更改代码。（请注意，如果Spark公开这些类，则只能使用此选项，因为着色将不起作用）。