Scala 在txt文件中写入RDD_Scala_Apache Spark

Scala 在txt文件中写入RDD

scala apache-spark

Scala 在txt文件中写入RDD,scala,apache-spark,Scala,Apache Spark,我有以下类型的数据： `org.apache.spark.rdd.RDD[org.apache.spark.rdd.RDD[((String, String),Int)]] = MapPartitionsRDD[29] at map at <console>:38` 我将数据存储在一个名为res 但现在我试着用这个： res.coalesce(1).saveAsTextFile("newfile.txt") 但是它似乎不起作用…如果我的假设是正确的，那么您会觉得输出应该是一个

我有以下类型的数据：

  `org.apache.spark.rdd.RDD[org.apache.spark.rdd.RDD[((String, String),Int)]] = MapPartitionsRDD[29] at map at <console>:38`

我将数据存储在一个名为

res

但现在我试着用这个：

res.coalesce(1).saveAsTextFile("newfile.txt")

但是它似乎不起作用…

如果我的假设是正确的，那么您会觉得输出应该是一个.txt文件，如果它是

合并到一个worker。火花不是这样产生的。它是为分布式工作而设计的，不应该试图将其硬塞进一种输出不分布式的形式中。为此，您应该使用更通用的命令行工具
综上所述，您应该会看到一个名为newfile.txt
的文件夹，其中包含具有预期输出的数据文件。
转到您的工作目录并运行ls请提供更多详细信息-“似乎不起作用”是什么意思？你看到例外了吗？（如果是，请粘贴它们）。你检查了什么/哪里？不抱歉，实际上我的问题是我没有txt文件，使用该命令，我只有“part-0000”和“part-0000.crc”作为空文件。我想要的是一个包含RDD变量的txt文件
res.coalesce(1).saveAsTextFile("newfile.txt")