Pyspark 结合spark使用DEAP（遗传算法库）

是否可以使用带有spark集群的DEAP（）来映射适应度评估函数。我想运行一个GA，但适应度函数相当长，我正计划在spark群集上分发它

您应该查看DEAP文档中的部分，并查看此部分。它们解释了如何用您选择的map函数替换DEAP中的map函数

要使用pyspark映射健身评估函数，可以执行以下操作：

从pyspark导入SparkContext
sc=SparkContext（appName=“DEAP”）
def sparkMap（算法，总体）：
返回sc.parallelize（population）.map（算法）
工具箱.寄存器（“映射”，sparkMap）