Apache spark 可以使用spark 2.4使用Hadoop 3.x和Hive 3.x吗？
我们使用spark 2.4.0连接到Hadoop 2.7集群，并从Hive Metastore 2.3版进行查询。但是集群管理团队已经决定升级到Hadoop3.x和Hive3.x。我们还不能迁移到spark 3，它与Hadoop 3和Hive 3兼容，因为我们无法测试是否有任何故障 是否有任何可能的方法坚持使用spark 2.4.x版本，并且仍然能够使用Hadoop 3和Hive 3？Apache spark 可以使用spark 2.4使用Hadoop 3.x和Hive 3.x吗？,apache-spark,hadoop,hive,backwards-compatibility,hadoop3,Apache Spark,Hadoop,Hive,Backwards Compatibility,Hadoop3,我们使用spark 2.4.0连接到Hadoop 2.7集群，并从Hive Metastore 2.3版进行查询。但是集群管理团队已经决定升级到Hadoop3.x和Hive3.x。我们还不能迁移到spark 3，它与Hadoop 3和Hive 3兼容，因为我们无法测试是否有任何故障 是否有任何可能的方法坚持使用spark 2.4.x版本，并且仍然能够使用Hadoop 3和Hive 3？ 我知道后移植是一种选择，如果你能告诉我这个方向，那就太好了。你可以使用而不是依赖默认版本来编译Spark 2.
我知道后移植是一种选择，如果你能告诉我这个方向，那就太好了。你可以使用而不是依赖默认版本来编译Spark 2.4。您需要在构建Spark时使用
hadoop-3.1./build/mvn -Pyarn -Phadoop-3.1 -DskipTests clean package