Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何使用JavaAPI将文本文件、图像存储到ApacheSpark中?_Java_Apache Spark_Apache Spark Sql_Spark Streaming_Spark Dataframe - Fatal编程技术网

如何使用JavaAPI将文本文件、图像存储到ApacheSpark中?

如何使用JavaAPI将文本文件、图像存储到ApacheSpark中?,java,apache-spark,apache-spark-sql,spark-streaming,spark-dataframe,Java,Apache Spark,Apache Spark Sql,Spark Streaming,Spark Dataframe,我对apachespark还不熟悉。我使用的是Windows操作系统,spark安装在远程Linux操作系统中。是否可以使用Java API在Spark配置中添加ip地址和端口?请分享spark java示例 提前感谢。如果您只想使用spark,我建议您从应用程序中启动一个本地spark。下面是一个java示例(旧的1.6语法): public static void trySparkTestClass() throws IOException { SparkConf conf = ne

我对apachespark还不熟悉。我使用的是Windows操作系统,spark安装在远程Linux操作系统中。是否可以使用Java API在Spark配置中添加ip地址和端口?请分享spark java示例


提前感谢。

如果您只想使用spark,我建议您从应用程序中启动一个本地spark。下面是一个java示例(旧的1.6语法):

public static void trySparkTestClass() throws IOException {
    SparkConf conf = new SparkConf()
            .setMaster("local[*]")
            .setAppName("TestSparkSample");

    JavaSparkContext jsc = new JavaSparkContext(conf);
    HiveContext sqlContext = new HiveContext(jsc);
    DataFrame myJson = sqlContext.read().json("myJson");
    jsc.stop();
}

程序中的jsc是什么?那是一个JavaSparkContext实例