Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 EMR和S3源上的火花流_Amazon S3_Pyspark_Emr - Fatal编程技术网

Amazon s3 EMR和S3源上的火花流

Amazon s3 EMR和S3源上的火花流,amazon-s3,pyspark,emr,Amazon S3,Pyspark,Emr,我正在尝试使用电子病历中的齐柏林飞艇笔记本,以s3作为源打印流 %pyspark from pyspark.streaming import StreamingContext from pyspark.sql import Row, SparkSession ssc = StreamingContext(sc, 45) streams=ssc.textFileStream('s3://realtime-nyc-bike/') streams.pprint() 然而,没有任何东西被打印出来。Bu

我正在尝试使用电子病历中的齐柏林飞艇笔记本,以s3作为源打印流

%pyspark
from pyspark.streaming import StreamingContext
from pyspark.sql import Row, SparkSession
ssc = StreamingContext(sc, 45)
streams=ssc.textFileStream('s3://realtime-nyc-bike/')
streams.pprint()

然而,没有任何东西被打印出来。Bucket名称是正确的。可能是什么问题?

来自Spark流媒体文档:

Spark Streaming仅设置启动时将执行的计算,尚未启动任何实际处理。要在设置完所有转换后开始处理,请最后调用

ssc.start()             // Start the computation
ssc.awaitTermination()  // Wait for the computation to terminate