Machine learning 在Spark中：MatrixFactorizationModel.scala“；俄罗斯推荐产品&x201D；函数需要很长时间才能完成

我有9个节点群集，每个节点都有以下配置

我正在尝试使用“”函数为MatrixFactoryModel中的所有用户生成建议。看起来需要很长时间才能完成（例如：对于1个月的数据，大约需要34小时）。这是由于在矩阵上多次迭代造成的吗

如何减少执行时间

以下是我的spark提交配置：

spark提交——jars$JAR_LOC——类 com.collaborativefiltering.CustomerCollaborativeJob——驱动程序内存5G --num executors 7--executor cores 2--executor memory 20G--主纱线客户机cust_rec/cust-rec.jar--周期1个月--输出/路径--秩 50--数值2--λ0.25--阿尔法300--topK 20

---

非常感谢您。

我在MatrixFactoryizationModel中发现，推荐的产品经过多次迭代，因此计算时间很长。一旦我开始在云中运行我的作业，我就通过增加节点和spark执行器来测试作业。它真的起作用了！我能够在4小时内完成这项工作