Apache spark Kubernetes上的Spark是否启用动态定位?

Apache spark Kubernetes上的Spark是否启用动态定位?,apache-spark,kubernetes,Apache Spark,Kubernetes,spark 2.4.5的最新版本建议在未来的工作中使用“动态资源分配和外部洗牌服务”,但我也发现spark 2.2.0的一些版本建议在设置外部洗牌服务后支持它 您是否已在Kubernetes上成功启用Spark动态分配?如果是,您面临哪些挑战?您参考了哪些文档? 我们目前正在为Spark使用AWS EMR服务,并希望在Kubernetes上启用动态分配的情况下试用Spark 谢谢 较旧的文档确实属于,它已被用作与K8s相关的主要Apache Spark存储库工作的基础和POC。如果您希望启用此功

spark 2.4.5的最新版本建议在未来的工作中使用“动态资源分配和外部洗牌服务”,但我也发现spark 2.2.0的一些版本建议在设置外部洗牌服务后支持它

您是否已在Kubernetes上成功启用Spark动态分配?如果是,您面临哪些挑战?您参考了哪些文档?

我们目前正在为Spark使用AWS EMR服务,并希望在Kubernetes上启用动态分配的情况下试用Spark


谢谢

较旧的文档确实属于,它已被用作与K8s相关的主要Apache Spark存储库工作的基础和POC。如果您希望启用此功能,则您只能使用此较旧的Spark 2.2.0分叉。请注意,不建议将其用于PROD