Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 简单火花流不打印线_Apache Spark_Pyspark - Fatal编程技术网

Apache spark 简单火花流不打印线

Apache spark 简单火花流不打印线,apache-spark,pyspark,Apache Spark,Pyspark,我正在尝试编写一个spark脚本来监视一个目录,并在数据流入时进行处理 在下面的示例中,我没有发现任何错误,但它也不会打印文件 有人有什么想法吗 import findspark findspark.init() import pyspark from pyspark import SparkContext from pyspark.streaming import StreamingContext conf = (SparkConf() .setMaster("local")

我正在尝试编写一个spark脚本来监视一个目录,并在数据流入时进行处理

在下面的示例中,我没有发现任何错误,但它也不会打印文件

有人有什么想法吗

import findspark
findspark.init()

import pyspark
from pyspark import SparkContext
from pyspark.streaming import StreamingContext

conf = (SparkConf()
     .setMaster("local")
     .setAppName("My app")
     .set("spark.executor.memory", "1g"))

sc = SparkContext.getOrCreate(conf=conf)
ssc = StreamingContext(sc, 1) #microbatched every 1 second

lines = ssc.textFileStream('file:///C:/Users/kiera/OneDrive/Documents/logs')#directory of log files, Does not work for subdirectories
lines.pprint()


ssc.start()
ssc.awaitTermination()

尝试添加文件后,开始和请报告回来,我也尝试过,不幸的是,它没有什么意思。我要试试scala