Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/dart/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark spring xd按作业提交sparkapp,无结果输出,状态始终为STARTED(正在运行)_Apache Spark_Spring Xd - Fatal编程技术网

Apache spark spring xd按作业提交sparkapp,无结果输出,状态始终为STARTED(正在运行)

Apache spark spring xd按作业提交sparkapp,无结果输出,状态始终为STARTED(正在运行),apache-spark,spring-xd,Apache Spark,Spring Xd,我写了一个spark的应用程序,代码是: package.com.demo; 导入com.alibaba.fastjson.JSON; 导入com.alibaba.fastjson.JSONObject; 导入org.apache.spark.SparkConf; 导入org.apache.spark.api.java.javapairdd; 导入org.apache.spark.api.java.JavaRDD; 导入org.apache.spark.api.java.JavaSparkCon

我写了一个spark的应用程序,代码是:

package.com.demo;
导入com.alibaba.fastjson.JSON;
导入com.alibaba.fastjson.JSONObject;
导入org.apache.spark.SparkConf;
导入org.apache.spark.api.java.javapairdd;
导入org.apache.spark.api.java.JavaRDD;
导入org.apache.spark.api.java.JavaSparkContext;
导入org.apache.spark.api.java.function.FlatMapFunction;
导入org.apache.spark.api.java.function.Function2;
导入org.apache.spark.api.java.function.PairFunction;
导入scala.Tuple2;
导入java.util.ArrayList;
导入java.util.List;
/**
*由sdvdxl于2016/3/14创建。
*/
公共类SparkCalcDemo{
私有静态最终字符串HADOOP_URL=”hdfs://10.10.1.110:8020/";
公共静态void main(字符串[]args)引发异常{
SparkConf conf=new SparkConf().setAppName(“test”).setMaster(“local[1]”);
JavaSparkContext sc=新的JavaSparkContext(conf);
JavaRDD textFile=sc.textFile(HADOOP_URL+“/xd/dataset1/2016/03/14/15/01”,1);
JavaRDD words=textFile.flatMap(新的flatMap函数(){
公共Iterable调用(字符串s){
列表=新的ArrayList();
JSONObject jobj=JSON.parseObject(新字符串(org.apache.commons.codec.binary.Base64.decodeBase64(s.substring(1,s.length()-1)));
添加(jobj.getString(“name”);
添加(jobj.getString(“随机”);
退货清单;
}
});
javapairrdpairs=words.mapToPair(新PairFunction(){
公共元组2调用(字符串s){
返回新的Tuple2(s,1);
}
});
javapairdd counts=pairs.reduceByKey(新函数2(){
公共整数调用(整数a、整数b){
返回a+b;
}
});
counts.foreach(tuple2->
System.out.println(tuple2._1+“:“+tuple2._2));
}
}
pom含量为:


4.0.0
卡夫卡演示