Fatal编程技术网
  • scala/
  • 使用Scala在Spark中将RDD转换为数据帧时拆分Txt文件中的数据时出现问题

使用Scala在Spark中将RDD转换为数据帧时拆分Txt文件中的数据时出现问题

scala apache-spark

使用Scala在Spark中将RDD转换为数据帧时拆分Txt文件中的数据时出现问题,scala,apache-spark,spark-dataframe,Scala,Apache Spark,Spark Dataframe,我以RDD的形式从文本文件中读取数据并将其转换为数据帧，但没有得到所需的输出 代码- val myFile = sc.textFile("car.txt") val df = myFile.map(_.split(" ")).map(line => Text(line(0))).toDF() df.show() 其中Text是case类 案例类- case class Text(field: String) car.txt文件中的数据- hyundai honda honda maru

我以RDD的形式从文本文件中读取数据并将其转换为数据帧，但没有得到所需的输出

代码-

val myFile = sc.textFile("car.txt")
val df = myFile.map(_.split(" ")).map(line => Text(line(0))).toDF()
df.show()
其中Text是case类

案例类-

case class Text(field: String)
car.txt文件中的数据-

hyundai honda
honda maruti
maruti honda
执行时输出-

+-------+
|  field|
+-------+
|hyundai|
|  honda|
| maruti|
+-------+
为什么我没有从数据框中的文本文件中获取所有数据？

这是因为您正在
拆分空间中的数据，然后只输出该数据的第一个元素（第一个单词）->
行（0）


如果您只需要行，那么您可以剪切
.map（u.split（“”）
，然后只使用
行（no
（0）
）
这是因为您正在
拆分空间上的数据，然后只输出该行的第一个元素（第一个单词）->
行（0）

如果您只需要这些行，那么您可以剪切
.map（u.split（“”）
，然后只使用
行
（无
（0）
）