Amazon s3 EMR和S3源上的火花流
我正在尝试使用电子病历中的齐柏林飞艇笔记本,以s3作为源打印流Amazon s3 EMR和S3源上的火花流,amazon-s3,pyspark,emr,Amazon S3,Pyspark,Emr,我正在尝试使用电子病历中的齐柏林飞艇笔记本,以s3作为源打印流 %pyspark from pyspark.streaming import StreamingContext from pyspark.sql import Row, SparkSession ssc = StreamingContext(sc, 45) streams=ssc.textFileStream('s3://realtime-nyc-bike/') streams.pprint() 然而,没有任何东西被打印出来。Bu
%pyspark
from pyspark.streaming import StreamingContext
from pyspark.sql import Row, SparkSession
ssc = StreamingContext(sc, 45)
streams=ssc.textFileStream('s3://realtime-nyc-bike/')
streams.pprint()
然而,没有任何东西被打印出来。Bucket名称是正确的。可能是什么问题?来自Spark流媒体文档: Spark Streaming仅设置启动时将执行的计算,尚未启动任何实际处理。要在设置完所有转换后开始处理,请最后调用
ssc.start() // Start the computation
ssc.awaitTermination() // Wait for the computation to terminate