Apache spark 为什么sc.wholeTextFile（）.collect（）速度慢
我正在使用Spark2.1本地模式（本地[4]），并尝试调用Apache spark 为什么sc.wholeTextFile（）.collect（）速度慢,apache-spark,Apache Spark,我正在使用Spark2.1本地模式（本地[4]），并尝试调用sc.wholeTextFiles以RDD形式读取news20数据集： val rdd=sc.wholeTextFiles（“~/20news-18828/*”，4） val result=rdd.collect（） 从这里下载数据集：解压后，在20news-18828下将有20个类别文件夹。对于每个子文件夹，大约有900个小文本文件，因此总共有18828个文本文件。 目前数据在我的本地机器上，可能将来我会从HDFS读取它们 我的问
sc.wholeTextFiles
val rdd=sc.wholeTextFiles（“~/20news-18828/*”，4）
val result=rdd.collect（）
20news-18828rdd.collect（）sc.parallelize然后collectsc.wholeTextFiles提前多谢 这比读取本地文件要慢，因为这样会产生不增加任何价值的开销
// read files into at least 4 partitions
// here you have the overhead of spinning up driver and executors and partitioning data
val rdd = sc.wholeTextFiles("~/20news-18828/*", 4)
// pull all of the data back from the executors and put it all on the driver
val result = rdd.collect()