Scala SPARK:SPARK glmnet软件包的线性/逻辑回归
我是Spark的新手,在过去的几周里,我正在学习在Spark中实现的方法。这次我想使用在Scala SPARK:SPARK glmnet软件包的线性/逻辑回归,scala,apache-spark,logistic-regression,Scala,Apache Spark,Logistic Regression,我是Spark的新手,在过去的几周里,我正在学习在Spark中实现的方法。这次我想使用在spark glmnet包中实现的函数:。我最感兴趣的是运行逻辑回归 我下载了一个源文件,并使用以下命令创建了一个fatJAR: sbt assembly 当这个过程完成后,我将JAR文件复制到服务器并运行sparkshell export HADOOP_CONF_DIR=/opt/etc-hadoop/; /opt/spark-1.5.0-bin-hadoop2.4/bin/spark-shell \
spark glmnet
包中实现的函数:。我最感兴趣的是运行逻辑回归
我下载了一个源文件,并使用以下命令创建了一个fatJAR
:
sbt assembly
当这个过程完成后,我将JAR
文件复制到服务器并运行sparkshell
export HADOOP_CONF_DIR=/opt/etc-hadoop/;
/opt/spark-1.5.0-bin-hadoop2.4/bin/spark-shell \
--master yarn-client \
--num-executors 5 \
--executor-cores 6 \
--executor-memory 8g \
--jars /opt/spark-glmnet-assembly-1.5.jar,some_other_jars \
--driver-class-path /usr/share/hadoop-2.2.0/share/hadoop/common/lib/mysql-connector-java-5.1.30.jar
但是我不知道如何在Spark中运行这个包中的函数。例如,如何使用坐标下降进行逻辑回归?答案非常简单:
sc.addJar("path_to_my_jar")
在命令“-class”中添加一个选项