Scala spark数据帧中的并集问题
我必须根据一些过滤器从3个表中检索数据并合并它们 示例代码:Scala spark数据帧中的并集问题,scala,dataframe,apache-spark,Scala,Dataframe,Apache Spark,我必须根据一些过滤器从3个表中检索数据并合并它们 示例代码: Var df1=spark.table(表1).filter(col1='abc')。select(col1,col2) Var df2=spark.table(表2).filter(col1='abc')。select(col1,col2) Var df3=spark.table(表3).filter(col1='abc')。select(col1,col2) Var df4=df1.union(df2.union(df3) 但对
Var df1=spark.table(表1).filter(col1='abc')。select(col1,col2)
Var df2=spark.table(表2).filter(col1='abc')。select(col1,col2)
Var df3=spark.table(表3).filter(col1='abc')。select(col1,col2)
Var df4=df1.union(df2.union(df3)
但对于给定的查询,df2和df3将给我0条记录。
当我执行spark作业时,出现如下错误
User类引发异常:org.apache.spark.sql.AnalysisException:无法解析()中的列名“col1”代码>
如何纠正此问题?应该是import org.apache.spark.sql.functions.col var df1=spark.table(table1).filter(col(col1)==“abc”).select(“col1”、“col2”)
或var df1=spark.table(table1).filter($col1==“abc”).select(“col1”、“col2”)
或者您可能希望发布语法正确、错误堆栈完整的代码段。请尝试上述发布的线索,或者编辑您的问题,并发布整洁的代码和错误堆栈。