Amazon s3 来自多个文件夹的Spark流媒体
我问了完全相同的问题。我无法在那里发表评论，因为我在stackoverflow没有足够的声誉。所以我要贴一份副本。不确定是否有办法解决 这里给出的答案不起作用。textFileStream（）不接受逗号分隔的文件夹列表Amazon s3 来自多个文件夹的Spark流媒体,amazon-s3,apache-spark,spark-streaming,Amazon S3,Apache Spark,Spark Streaming,我问了完全相同的问题。我无法在那里发表评论，因为我在stackoverflow没有足够的声誉。所以我要贴一份副本。不确定是否有办法解决 这里给出的答案不起作用。textFileStream（）不接受逗号分隔的文件夹列表 16/02/24 11:01:40 WARN FileInputDStream: Error finding new files java.io.FileNotFoundException: File file:/shared/data/2016-01-22-05/,file:/
16/02/24 11:01:40 WARN FileInputDStream: Error finding new files
java.io.FileNotFoundException: File file:/shared/data/2016-01-22-05/,file:/shared/data/2016-01-22-06 does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.listStatus(RawLocalFileSystem.java:376)
val folderList = makeAListOfFoldersToWatch()
val dstreamsList = folderList.map(ssc.textFileStream(_))
val lines = ssc.union(dstreamsList)
lines.foreachRDD( rdd => {