Apache spark Spark Streaming不从Windows中的本地目录读取文件 公共类StreamingWordCount实现可序列化{ 公共静态void main（字符串[]args）{ JavaStreamingContext jssc=新的JavaStreamingContext（“本地[2]”，“JavaWordCount”， 新期限（1000）； JavaDStream data=jssc.textFileStream（“D:/krishna/”）.cache（）； data.foreach（新函数（）{ 公共Void调用（JavaRDD）引发异常{ 列表输出=rdd.collect（）； System.out.println（“从文件收集的句子”+输出）； 返回null； } }); data.print（）； jssc.start（）； jssc.aittimination（）； } }

我正在Windows 8上使用Spark standalone

JavaStreamingContext是否仅适用于HDFS目录

---

单击以获取输出：

将批处理时间间隔减少5 ms至10 ms如果任何作业所需的批处理时间超过提供的批处理时间，jssc.awaitTermination（）方法将等待完成挂起的作业并自动处理批处理时间。

不同意，请参考。它不会读取旧文件，对于测试，您可以在运行时将文件放在给定的目录中。

public class StreamingWordCount implements Serializable { 

public static void main(String[] args) {    

    JavaStreamingContext jssc = new JavaStreamingContext("local[2]", "JavaWordCount",
            new Duration(1000));
    JavaDStream<String> data = jssc.textFileStream("D:/krishna/").cache();
    data.foreach(new Function<JavaRDD<String>, Void>() {

        public Void call(JavaRDD<String> rdd) throws Exception {
            List<String> output = rdd.collect();
            System.out.println("Sentences Collected from files " + output);
            return null;
        }
    });

    data.print();
    jssc.start();
    jssc.awaitTermination();
  }
}