如何使用pyspark运行进化算法

我想在spark上使用pyspark运行GA、PSO等进化算法。如何使用Deap python库使用MLLib实现这一点。是否有其他库可用于执行相同的任务

看看如何将DEAP与Spark结合使用，看看它是否适合您

下面是一个如何使用Spark将DEAP配置为自定义的示例

从pyspark导入SparkContext
sc=SparkContext（appName=“DEAP”）
def sparkMap（算法，总体）：
返回sc.parallelize（population）.map（算法）
工具箱.寄存器（“映射”，sparkMap）

在中，它们展示了如何在DEAP包中执行此操作。然而，这是一个问题。但他们提到有一个pull请求（），而且似乎固定代码/分支来自分叉回购。
听起来，如果您使用该代码重新构建包，应该可以解决问题

我找到的另一个资源，没有尝试过，是。

---

也遇到了这个

什么是

工具箱

？请不要重复答案。提供一个好的，然后通过commentsIt链接到它。这是DEAP提供的一个实用类，可以轻松地更改运算符，而不会影响算法的其余部分（文档。在我的示例中，它取代了映射函数（用于将适应度函数映射到所有个体）通过使用Spark parallelize函数的自定义示例。您可以在中找到另一个示例