Apache spark 简单火花流不打印线
我正在尝试编写一个spark脚本来监视一个目录,并在数据流入时进行处理 在下面的示例中,我没有发现任何错误,但它也不会打印文件 有人有什么想法吗Apache spark 简单火花流不打印线,apache-spark,pyspark,Apache Spark,Pyspark,我正在尝试编写一个spark脚本来监视一个目录,并在数据流入时进行处理 在下面的示例中,我没有发现任何错误,但它也不会打印文件 有人有什么想法吗 import findspark findspark.init() import pyspark from pyspark import SparkContext from pyspark.streaming import StreamingContext conf = (SparkConf() .setMaster("local")
import findspark
findspark.init()
import pyspark
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
conf = (SparkConf()
.setMaster("local")
.setAppName("My app")
.set("spark.executor.memory", "1g"))
sc = SparkContext.getOrCreate(conf=conf)
ssc = StreamingContext(sc, 1) #microbatched every 1 second
lines = ssc.textFileStream('file:///C:/Users/kiera/OneDrive/Documents/logs')#directory of log files, Does not work for subdirectories
lines.pprint()
ssc.start()
ssc.awaitTermination()
尝试添加文件后,开始和请报告回来,我也尝试过,不幸的是,它没有什么意思。我要试试scala