Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
从spark java API中的映射创建数据帧_Java_Apache Spark_Apache Spark Sql - Fatal编程技术网

从spark java API中的映射创建数据帧

从spark java API中的映射创建数据帧,java,apache-spark,apache-spark-sql,Java,Apache Spark,Apache Spark Sql,我试图在JavaAPI中使用SparkSQL,下面简单的东西(从官方指南中复制:)不会让intelij感到高兴 它抱怨ClassTag这件事,我不知道如何创建它,或者让它自动导入或其他什么 List<Integer> data = Arrays.asList(1, 2, 3, 4, 5); JavaRDD<Integer> distData = sc.parallelize(data); List data=Arrays.asList(1

我试图在JavaAPI中使用SparkSQL,下面简单的东西(从官方指南中复制:)不会让intelij感到高兴

它抱怨
ClassTag
这件事,我不知道如何创建它,或者让它自动导入或其他什么

        List<Integer> data = Arrays.asList(1, 2, 3, 4, 5);
        JavaRDD<Integer> distData = sc.parallelize(data);
List data=Arrays.asList(1,2,3,4,5);
javarddistdata=sc.parallelize(数据);
我知道它想要使用3个参数

public <T> RDD<T> parallelize(final Seq<T> seq, final int numSlices, final ClassTag<T> evidence$1) {
公共RDD并行化(最终顺序、最终整数、最终类标签证据$1){
但是我怎样才能得到这个
证据$1
的东西呢? 官方的例子也没有这样的论据


请对此提供帮助。

我决定研究官方指南附带的示例的源代码。 事实证明,它需要创建JavaSpark上下文 在我使用了指南源代码中的示例后,我的一个工作正常

import scala.Tuple2;
import org.apache.spark.api.java.JavaSparkContext;

List<Tuple2<String, String>> data =
        Arrays.asList(
                new Tuple2<>("key1","value1")
                , new Tuple2<>("key2", "value2")
        );

JavaPairRDD<String, String> dataRdd = jsc.parallelizePairs(data);
导入scala.Tuple2;
导入org.apache.spark.api.java.JavaSparkContext;
列表数据=
Arrays.asList(
新元组2(“键1”、“值1”)
,新元组2(“键2”,“值2”)
);
javapairdd dataRdd=jsc.parallelizePairs(数据);