Apache spark 是否可以在hadoop3集群上运行Spark（2.3）作业，特别是HDP3.1和CDH6（测试版）

此外，CDH 6正处于测试阶段，他们是否支持spark 2.3而无需任何提示？是否可以在支持Hadoop3的CDH或hadoop集群上运行相同的旧spark 2.x版本（特别是2.3版本）

我有兴趣了解与Thread、hdfs和mapreduce API的向后兼容性变化

---

有人在生产中使用这个吗？

CDH 6.0 GA是在几周前宣布的。除了Hadoop 3之外，它还将Spark2.2打包为默认的Spark版本：。但是，可以单独将CD升级到更高版本（2.3.x）

---

CDH 6似乎不受Spark中HMS不兼容的影响。

啊，是的，CDH 6.0在GA中。但我仍然想知道Spark 2.3.2是否与这些供应商中的Hadoop3兼容？看起来spark使用的hive版本在hadoop3.x上仍然不受支持，在重新检查Cloudera文档之后，我必须更正我的答案。