Apache spark 将基于键的文本文件作为列从另一个文本文件中读取

我是Spark新手，我正在尝试将表作为文本文件加载到Spark中

我想根据另一个文本文件列读取文本文件，例如：：Id作为键 如果B.id与A.id匹配，那么我必须将文件B读入Spark

val file2=sc.textFile("path")

---

一种方法是读取这两个文件，然后根据id字段连接它们，并仅从表b中选择这些列，如下所示

val df1 = Seq((1, "Anu"),(2, "Suresh"),(3, "Usha"), (4, "Nisha")).toDF("id","name")
val df2 = Seq((1, 23),(2, 24),(3, 24), (4, 25), (5, 30), (6, 32)).toDF("id","age")

df1.as("df1").join(df2.as("df2"), df1("id") === df2("id"), "inner").select("df2.*").show()

输出：

+---+---+
| id|age|
+---+---+
|  1| 23|
|  2| 24|
|  3| 24|
|  4| 25|
+---+---+

---

欢迎来到SO！！请提供详细信息，如您正在寻找的结果是什么？您得到的错误？是的，这里我们正在读取文本文件，然后进行检查，但我想在读取之前执行条件，如（主键和外键），以防您有100列无法全部加入