Arrays 在Spark Scala中将文本文件转换为序列数组格式 我有sample.txt:

Arrays 在Spark Scala中将文本文件转换为序列数组格式 我有sample.txt:,arrays,scala,apache-spark,sequence,Arrays,Scala,Apache Spark,Sequence,如何将其转换为与相同的序列数组 (Seq( Array(Array(1), Array(2), Array(3)), Array(Array(1), Array(3), Array(2), Array(1), Array(2)), Array(Array(1), Array(2), Array(5)), Array(Array(6) ) 我想尝试使用文本文件作为前缀span mllib Spark,尝试: val file = new java.io.Fil

如何将其转换为与相同的序列数组

(Seq( Array(Array(1), Array(2), Array(3)),
      Array(Array(1), Array(3), Array(2), Array(1), Array(2)),
      Array(Array(1), Array(2), Array(5)),
      Array(Array(6) )
我想尝试使用文本文件作为前缀span mllib Spark,

尝试:

val file = new java.io.File("path/to/sample.txt")
Source.fromFile(file).getLines().map(_.split(' ').map(s => Array(s.toInt)))
这实际上会生成一个迭代器(类型为
iterator[Array[Array[Int]]]
),但可以使用
.toSeq
或.toList
或类似方法将其转换为序列

使用Spark(我现在无法检查),应该是这样的:

val data = sc.textFile("...")
data.map(_.split(' ').map(s => Array(s.toInt)))

我试过这样做:val data=sc.textFile(“src/data/sample_prefixspan.txt”)val transactions=data.map(s=>s.trim.split(“”)).map(Array(_)其工作,但结果与(Seq(Array(1,2,3))、Array(1,3,2,1,2)、Array(1,2)、Array(1,2,5)、Array(6)相同你有什么建议吗?对不起,我不确定你在评论中说的是什么-看起来你是在正确的轨道上,但我不能完全说出剩下的问题是什么。我的意思是,我必须尝试得到这样的结果:Seq(数组(数组(1,2,3)),而不是Seq(数组(数组(1),数组(2),数组(3)),我只需要更改一点代码及其工作原理,这与您在问题中显示的不同-只需将
s=>Array(s.toInt)
更改为
\uu.toInt
val data = sc.textFile("...")
data.map(_.split(' ').map(s => Array(s.toInt)))