Apache spark Spark MLlib-使用隐式反馈训练协同过滤-奇怪警告
我试图在用户订单上建立模型,并通过Apache spark Spark MLlib-使用隐式反馈训练协同过滤-奇怪警告,apache-spark,apache-spark-mllib,collaborative-filtering,Apache Spark,Apache Spark Mllib,Collaborative Filtering,我试图在用户订单上建立模型,并通过ALS.train()获得一些有用的结果,但我想尝试ALS.trianImplicit()但是trianImplicit()在同一数据集上预测的只是零,而ASL.train()我得到了不错的预测 使用ALS.trianImplicit() 15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS 15/09/
ALS.train()
获得一些有用的结果,但我想尝试ALS.trianImplicit()
但是trianImplicit()
在同一数据集上预测的只是零,而ASL.train()
我得到了不错的预测
使用ALS.trianImplicit()
15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS
这是否表明这是一个错误而不是警告,并且由于缺少库,模型无法训练任何东西?正如@eliasah所指出的,这个警告并不重要,但可能会降低性能。使用本机BLAS可以大大提高性能。有一些关于如何在EC2上设置Spark+BLAS的说明
如果您的群集正在运行Ubuntu,则可以安装以下软件包:
libblas3gf
libblas-doc
libblas-dev
liblapack3gf
liblapack-doc
liblapack-dev
但是,有些人报告说,使用该工具可以获得更好的性能,因此您可以尝试在工作人员中安装该工具。您还需要在应用程序中包含com.github.fommil.netlib
(Spark目前使用的是1.1.2版)。这些警告并不奇怪。您需要安装Library,警告可能会稍微影响性能,但您可以毫无问题地执行模型培训。centos 6.5的等效软件包是什么?