Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark MLlib-使用隐式反馈训练协同过滤-奇怪警告_Apache Spark_Apache Spark Mllib_Collaborative Filtering - Fatal编程技术网

Apache spark Spark MLlib-使用隐式反馈训练协同过滤-奇怪警告

Apache spark Spark MLlib-使用隐式反馈训练协同过滤-奇怪警告,apache-spark,apache-spark-mllib,collaborative-filtering,Apache Spark,Apache Spark Mllib,Collaborative Filtering,我试图在用户订单上建立模型,并通过ALS.train()获得一些有用的结果,但我想尝试ALS.trianImplicit()但是trianImplicit()在同一数据集上预测的只是零,而ASL.train()我得到了不错的预测 使用ALS.trianImplicit() 15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS 15/09/

我试图在用户订单上建立模型,并通过
ALS.train()
获得一些有用的结果,但我想尝试
ALS.trianImplicit()
但是
trianImplicit()
在同一数据集上预测的只是零,而
ASL.train()
我得到了不错的预测

使用
ALS.trianImplicit()

15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS

这是否表明这是一个错误而不是警告,并且由于缺少库,模型无法训练任何东西?

正如@eliasah所指出的,这个警告并不重要,但可能会降低性能。使用本机BLAS可以大大提高性能。有一些关于如何在EC2上设置Spark+BLAS的说明

如果您的群集正在运行Ubuntu,则可以安装以下软件包:

libblas3gf
libblas-doc
libblas-dev

liblapack3gf
liblapack-doc
liblapack-dev

但是,有些人报告说,使用该工具可以获得更好的性能,因此您可以尝试在工作人员中安装该工具。您还需要在应用程序中包含
com.github.fommil.netlib
(Spark目前使用的是1.1.2版)。

这些警告并不奇怪。您需要安装Library,警告可能会稍微影响性能,但您可以毫无问题地执行模型培训。centos 6.5的等效软件包是什么?