Scala/Spark在程序中保存文本而不保存到文件

Scala/Spark在程序中保存文本而不保存到文件,scala,apache-spark,Scala,Apache Spark,我的代码将val:s保存到result.txt 然后再次读取该文件 我想知道是否有一种方法可以直接运行我的代码,而无需保存到另一个文件并将其读回 I userval textFile=sc.parallelize 但是下一部分会有错误:value contains不是char的成员 import java.io._ val s = (R.capture("lines")) resultPath = /home/user val pw = new PrintWriter(new File(f"$

我的代码将
val:s
保存到
result.txt

然后再次读取该文件
我想知道是否有一种方法可以直接运行我的代码,而无需保存到另一个文件并将其读回

I user
val textFile=sc.parallelize

但是下一部分会有错误:
value contains不是char的成员

import java.io._
val s = (R.capture("lines"))

resultPath = /home/user
val pw = new PrintWriter(new File(f"$resultPath%s/result.txt"))
pw.write(s)
pw.close
//val textFile = sc.textFile(f"$resultPath%s/result.txt") old method:save into a file and read it back
val textFile = sc.parallelize(s)    


val rows = textFile.map { line =>
  !(line contains "[, 1]")
  val fields = line.split("[^\\d.]+")
  ((fields(0), fields(1).toDouble))
}

我不得不说,您遇到的问题是变量s是字符串数据类型,并且您正在对字符串而不是集合进行并行化。因此,当您运行map函数时,它将迭代字符串中的每个字符。

谢谢!我找到了一个方法
val textFile=sc.parallelize(s.split(“\n”))