Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/353.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java-必须在配置中设置主URL_Java_Csv_Apache Spark - Fatal编程技术网

Java-必须在配置中设置主URL

Java-必须在配置中设置主URL,java,csv,apache-spark,Java,Csv,Apache Spark,我正在尝试在ApacheSpark中运行一些算法。我越来越 Java-即使我设置了配置,也必须在配置错误中设置主URL SparkSession spark = SparkSession.builder().appName("Sp_LogistcRegression").config("spark.master", "local").getOrCreate(); 这就是我使用的代码 import java.io.FileOutputStream; import java.io.IOExcept

我正在尝试在ApacheSpark中运行一些算法。我越来越 Java-即使我设置了配置,也必须在配置错误中设置主URL

SparkSession spark = SparkSession.builder().appName("Sp_LogistcRegression").config("spark.master", "local").getOrCreate();
这就是我使用的代码

import java.io.FileOutputStream;
import java.io.IOException;
import java.io.ObjectOutputStream;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.ml.classification.LogisticRegression;
import org.apache.spark.ml.classification.LogisticRegressionModel;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.mllib.util.MLUtils;

public class Sp_LogistcRegression {
    public void trainLogisticregression(String path, String model_path) throws IOException {
        //SparkConf conf = new SparkConf().setAppName("Linear Regression Example");


    //  JavaSparkContext sc = new JavaSparkContext(conf);
        SparkSession spark = SparkSession.builder().appName("Sp_LogistcRegression").config("spark.master", "local").getOrCreate();
        Dataset<Row> training =  spark.read().option("header","true").csv(path);
         System.out.print(training.count());

        LogisticRegression lr = new LogisticRegression().setMaxIter(10).setRegParam(0.3);

        // Fit the model
        LogisticRegressionModel lrModel = lr.fit(training);
        lrModel.save(model_path);



        spark.close();

    }

}
为什么我会犯这个错误?我在这里检查了解决方案 它不起作用。 有什么线索吗?

你的

SparkSession spark = SparkSession.builder().appName("Sp_LogistcRegression").config("spark.master", "local").getOrCreate();
应该是

SparkSession spark = SparkSession.builder().appName("Sp_LogistcRegression").master("local").getOrCreate();

当你跑步时,你需要

spark-submit --class mainClass --master local yourJarFile
你的

应该是

SparkSession spark = SparkSession.builder().appName("Sp_LogistcRegression").master("local").getOrCreate();

当你跑步时,你需要

spark-submit --class mainClass --master local yourJarFile

org.apache.hadoop.util.NativeCodeLoader:无法为您的平台加载本机hadoop库。。。在适用的地方使用内置java类这只是警告。查看如何删除该警告?hadoop发行版适用于32位计算机。您必须使用64位本机库构建hadoop。检查并查看org.apache.hadoop.util.NativeCodeLoader:无法为您的平台加载本机hadoop库。。。在适用的地方使用内置java类这只是警告。查看如何删除该警告?hadoop发行版适用于32位计算机。您必须使用64位本机库构建hadoop。检查和