Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/16.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala spark数据帧中的并集问题_Scala_Dataframe_Apache Spark - Fatal编程技术网

Scala spark数据帧中的并集问题

Scala spark数据帧中的并集问题,scala,dataframe,apache-spark,Scala,Dataframe,Apache Spark,我必须根据一些过滤器从3个表中检索数据并合并它们 示例代码: Var df1=spark.table(表1).filter(col1='abc')。select(col1,col2) Var df2=spark.table(表2).filter(col1='abc')。select(col1,col2) Var df3=spark.table(表3).filter(col1='abc')。select(col1,col2) Var df4=df1.union(df2.union(df3) 但对

我必须根据一些过滤器从3个表中检索数据并合并它们

示例代码:

Var df1=spark.table(表1).filter(col1='abc')。select(col1,col2)
Var df2=spark.table(表2).filter(col1='abc')。select(col1,col2)
Var df3=spark.table(表3).filter(col1='abc')。select(col1,col2)
Var df4=df1.union(df2.union(df3)
但对于给定的查询,df2和df3将给我0条记录。 当我执行spark作业时,出现如下错误

User类引发异常:org.apache.spark.sql.AnalysisException:无法解析()中的列名“col1”


如何纠正此问题?

应该是
import org.apache.spark.sql.functions.col var df1=spark.table(table1).filter(col(col1)==“abc”).select(“col1”、“col2”)
var df1=spark.table(table1).filter($col1==“abc”).select(“col1”、“col2”)
或者您可能希望发布语法正确、错误堆栈完整的代码段。请尝试上述发布的线索,或者编辑您的问题,并发布整洁的代码和错误堆栈。