Java spark2中的排队流

Java spark2中的排队流,java,apache-spark-2.0,Java,Apache Spark 2.0,在spark 1.6.1中,感谢这种方法 我能够从如下文本文件创建排队流: List<JavaRDD<String>> inputRdds = Arrays.stream(inputDirFile.listFiles((file) -> { return file.getName().matches(properties.getInputFileRule()); })).map(file -> { return sc().textFile(fi

在spark 1.6.1中,感谢这种方法 我能够从如下文本文件创建排队流:

List<JavaRDD<String>> inputRdds = Arrays.stream(inputDirFile.listFiles((file) -> {
    return file.getName().matches(properties.getInputFileRule());
})).map(file -> {
    return sc().textFile(file.getAbsolutePath());
}).collect(Collectors.toList());

Queue<JavaRDD<String>> queue = new LinkedList<JavaRDD<String>>(inputRdds);

JavaDStream<String> inputForCheckpointAsStream = jsc().queueStream(queue, true);
List inputdds=Arrays.stream(inputDirFile.listFiles((文件)->{
返回文件.getName().matches(properties.getInputFileRule());
})).map(文件->{
返回sc().textFile(file.getAbsolutePath());
}).collect(Collectors.toList());
队列队列=新的链接列表(inpurdds);
JavaDStream InputForCheckpointPasstream=jsc().queueStream(队列,true);
像这样我得到了流,但每批只有一个文件。文件包含JSON数据。有没有一种方法可以在spark2中使用SparkSession和数据集而不使用拼花文件来生成排队流(类似于上面的方法)

  • sc()
    是java spark上下文
  • jsc()
    是java流上下文