Apache spark Hadoop组件是否有兼容性矩阵？

我想知道生态系统的各种Hadoop组件是否有一个兼容性矩阵

每次Hadoop升级都会产生很大的兼容性影响，例如：

• Apache Spark 2.4不支持Hadoop v3
• Hadoop不支持Java 9和10
• 等等

我知道像Hortonworks这样的供应商会发布组件列表，其中包含每个版本的发行版，但这并不意味着面向广大公众，因为这包括打补丁的组件

---

对于每一个工具，你是否必须通过Jira的所有bug追踪程序来了解兼容性问题？

像Cloudera/Hortonworks这样的公司所做的一件关键事情是接受构成Hadoop的所有开源项目，并确保它们能很好地协同工作。无论是从功能角度还是从安全角度，都进行了大量的测试和调整，以确保所有内容一起形成一个适当的版本

现在，您已经了解了仅发布一个发行版需要付出多少努力，并将重点放在了最新版本上，您可能会明白，除了这些发行版之外，不会有关于“一切如何与一切一起工作”的一般概述

充分披露：我是Cloudera的员工，但即使没有这一点，我仍然建议您尽可能使用发行版