Apache spark spring xd按作业提交sparkapp,无结果输出,状态始终为STARTED(正在运行)
我写了一个spark的应用程序,代码是:Apache spark spring xd按作业提交sparkapp,无结果输出,状态始终为STARTED(正在运行),apache-spark,spring-xd,Apache Spark,Spring Xd,我写了一个spark的应用程序,代码是: package.com.demo; 导入com.alibaba.fastjson.JSON; 导入com.alibaba.fastjson.JSONObject; 导入org.apache.spark.SparkConf; 导入org.apache.spark.api.java.javapairdd; 导入org.apache.spark.api.java.JavaRDD; 导入org.apache.spark.api.java.JavaSparkCon
package.com.demo;
导入com.alibaba.fastjson.JSON;
导入com.alibaba.fastjson.JSONObject;
导入org.apache.spark.SparkConf;
导入org.apache.spark.api.java.javapairdd;
导入org.apache.spark.api.java.JavaRDD;
导入org.apache.spark.api.java.JavaSparkContext;
导入org.apache.spark.api.java.function.FlatMapFunction;
导入org.apache.spark.api.java.function.Function2;
导入org.apache.spark.api.java.function.PairFunction;
导入scala.Tuple2;
导入java.util.ArrayList;
导入java.util.List;
/**
*由sdvdxl于2016/3/14创建。
*/
公共类SparkCalcDemo{
私有静态最终字符串HADOOP_URL=”hdfs://10.10.1.110:8020/";
公共静态void main(字符串[]args)引发异常{
SparkConf conf=new SparkConf().setAppName(“test”).setMaster(“local[1]”);
JavaSparkContext sc=新的JavaSparkContext(conf);
JavaRDD textFile=sc.textFile(HADOOP_URL+“/xd/dataset1/2016/03/14/15/01”,1);
JavaRDD words=textFile.flatMap(新的flatMap函数(){
公共Iterable调用(字符串s){
列表=新的ArrayList();
JSONObject jobj=JSON.parseObject(新字符串(org.apache.commons.codec.binary.Base64.decodeBase64(s.substring(1,s.length()-1)));
添加(jobj.getString(“name”);
添加(jobj.getString(“随机”);
退货清单;
}
});
javapairrdpairs=words.mapToPair(新PairFunction(){
公共元组2调用(字符串s){
返回新的Tuple2(s,1);
}
});
javapairdd counts=pairs.reduceByKey(新函数2(){
公共整数调用(整数a、整数b){
返回a+b;
}
});
counts.foreach(tuple2->
System.out.println(tuple2._1+“:“+tuple2._2));
}
}
pom含量为:
4.0.0
卡夫卡演示