Java-必须在配置中设置主URL
我正在尝试在ApacheSpark中运行一些算法。我越来越 Java-即使我设置了配置,也必须在配置错误中设置主URLJava-必须在配置中设置主URL,java,csv,apache-spark,Java,Csv,Apache Spark,我正在尝试在ApacheSpark中运行一些算法。我越来越 Java-即使我设置了配置,也必须在配置错误中设置主URL SparkSession spark = SparkSession.builder().appName("Sp_LogistcRegression").config("spark.master", "local").getOrCreate(); 这就是我使用的代码 import java.io.FileOutputStream; import java.io.IOExcept
SparkSession spark = SparkSession.builder().appName("Sp_LogistcRegression").config("spark.master", "local").getOrCreate();
这就是我使用的代码
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.ObjectOutputStream;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.ml.classification.LogisticRegression;
import org.apache.spark.ml.classification.LogisticRegressionModel;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.mllib.util.MLUtils;
public class Sp_LogistcRegression {
public void trainLogisticregression(String path, String model_path) throws IOException {
//SparkConf conf = new SparkConf().setAppName("Linear Regression Example");
// JavaSparkContext sc = new JavaSparkContext(conf);
SparkSession spark = SparkSession.builder().appName("Sp_LogistcRegression").config("spark.master", "local").getOrCreate();
Dataset<Row> training = spark.read().option("header","true").csv(path);
System.out.print(training.count());
LogisticRegression lr = new LogisticRegression().setMaxIter(10).setRegParam(0.3);
// Fit the model
LogisticRegressionModel lrModel = lr.fit(training);
lrModel.save(model_path);
spark.close();
}
}
为什么我会犯这个错误?我在这里检查了解决方案
它不起作用。
有什么线索吗?你的
SparkSession spark = SparkSession.builder().appName("Sp_LogistcRegression").config("spark.master", "local").getOrCreate();
应该是
SparkSession spark = SparkSession.builder().appName("Sp_LogistcRegression").master("local").getOrCreate();
或
当你跑步时,你需要
spark-submit --class mainClass --master local yourJarFile
你的
应该是
SparkSession spark = SparkSession.builder().appName("Sp_LogistcRegression").master("local").getOrCreate();
或
当你跑步时,你需要
spark-submit --class mainClass --master local yourJarFile
org.apache.hadoop.util.NativeCodeLoader:无法为您的平台加载本机hadoop库。。。在适用的地方使用内置java类这只是警告。查看如何删除该警告?hadoop发行版适用于32位计算机。您必须使用64位本机库构建hadoop。检查并查看org.apache.hadoop.util.NativeCodeLoader:无法为您的平台加载本机hadoop库。。。在适用的地方使用内置java类这只是警告。查看如何删除该警告?hadoop发行版适用于32位计算机。您必须使用64位本机库构建hadoop。检查和