Pyspark:基于来自其他Pyspark数据帧的列名称创建Pyspark数据帧

Pyspark:基于来自其他Pyspark数据帧的列名称创建Pyspark数据帧,pyspark,Pyspark,我有两个朋友 df1有a、b、c、d、e、f列 df2有列-c、d、e(列名不断动态变化) 我想要一个df3数据帧,它是根据df2中的列名从df1中提取的。所以基本上我想要 根据df2中的列从df1中选择列(df2列不断更改) 在上面的示例中,结果df应该有列-c、d、e(从df1中提取) 我找不到任何方法可以做到这一点。请帮助您可以通过第二个数据帧的df2.columns获取列,只需从第一个数据帧中选择这些列即可 df1 = spark.read.option("header&quo

我有两个朋友

df1有a、b、c、d、e、f列 df2有列-c、d、e(列名不断动态变化)

我想要一个df3数据帧,它是根据df2中的列名从df1中提取的。所以基本上我想要

根据df2中的列从df1中选择列(df2列不断更改)

在上面的示例中,结果df应该有列-c、d、e(从df1中提取)


我找不到任何方法可以做到这一点。请帮助您可以通过第二个数据帧的
df2.columns
获取列,只需从第一个数据帧中选择这些列即可

df1 = spark.read.option("header","true").option("inferSchema","true").csv("test.csv")
df2 = spark.read.option("header","true").option("inferSchema","true").csv("test2.csv")

df3 = df1.select(df2.columns)
df3.show(10, False)

+---+---+---+
|c  |d  |e  |
+---+---+---+
|3  |4  |5  |
+---+---+---+

如果我的答案对您有帮助,请将其标记为答案。:)非常感谢你。这就是我要找的