Apache spark 阿帕奇火花。特定资源库

Apache spark 阿帕奇火花。特定资源库,apache-spark,gpu,resource-management,Apache Spark,Gpu,Resource Management,我有一个相当复杂的管道,它对给定的数据执行几种机器学习算法。其中一个算法使用GPU进行处理。我想用可用的GPU单元来区分集群中的几个节点,这样algo就只能在这些分区上运行。有火花吗 我知道在一般的计算环境中使用特定的资源或多或少是不常见的,但是这个算法偶尔会运行一次,而在其他时间它会一直保持不变-我也想使用这些节点。你使用哪种资源管理器?@zero323我现在正在考虑单机版,但我们有一个潜在客户,我们将使用纱线或Mesos。如果他们中有人能做到,我们就接受。据我所知,不是直接的。当然不是基于转

我有一个相当复杂的管道,它对给定的数据执行几种机器学习算法。其中一个算法使用GPU进行处理。我想用可用的GPU单元来区分集群中的几个节点,这样algo就只能在这些分区上运行。有火花吗


我知道在一般的计算环境中使用特定的资源或多或少是不常见的,但是这个算法偶尔会运行一次,而在其他时间它会一直保持不变-我也想使用这些节点。

你使用哪种资源管理器?@zero323我现在正在考虑单机版,但我们有一个潜在客户,我们将使用纱线或Mesos。如果他们中有人能做到,我们就接受。据我所知,不是直接的。当然不是基于转换。不过,您应该能够在管道级别(Oozie,Luigi)使用和处理其余部分。@zero323非常感谢,我来看看。