Apache spark 在Spark中连接两个数据帧

Apache spark 在Spark中连接两个数据帧,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我有一个用例,其中我需要以查找方式连接两个表。我怎样才能做到这一点是火花 表A: 钥匙 类型1 类型2 类型3 ALK1 NAK1 NAK2 NAK3 ALK2 NAK4 NAK5 NAK6 您可以使用array\u contains加入,然后goupby并收集列数据的列表: val result=dfA.as(“a”) .withColumn(“键”,数组(dfA.columns.map(col):*) .加入( dfB.as(“b”), 数组_包含(列(“键”)、列(“b键”)) ).gro

我有一个用例,其中我需要以查找方式连接两个表。我怎样才能做到这一点是火花

表A:

钥匙 类型1 类型2 类型3 ALK1 NAK1 NAK2 NAK3 ALK2 NAK4 NAK5 NAK6
您可以使用
array\u contains
加入,然后goupby并收集列
数据的列表

val result=dfA.as(“a”)
.withColumn(“键”,数组(dfA.columns.map(col):*)
.加入(
dfB.as(“b”),
数组_包含(列(“键”)、列(“b键”))
).groupBy(“a.Key”)
阿格先生(
concat_ws(“,”,col_list(col(“数据”))。作为(“数据”)
)
结果显示
//+----+-----------+
//|关键数据|
//+----+-----------+
//|ALK1 | G1、G3、G4、G5|
//|ALK2 | G2、G6、G7、G8|
//+----+-----------+