Apache spark Spark数据帧查询

Apache spark Spark数据帧查询,apache-spark,dataframe,apache-spark-sql,Apache Spark,Dataframe,Apache Spark Sql,是否可以使用数据帧作为标准 像这样: val df = sqlContext.table("Table") df.select("Column1").filter("Column2").equals("String") df.filter("Column3").ne("String") 不确定你到底需要什么(问题的措辞似乎让这里的回答者感到困惑),但根据你最后的评论-如何: val df = sqlContext.sql("SELECT * FROM Table WHERE faceValu

是否可以使用数据帧作为标准

像这样:

val df = sqlContext.table("Table")
df.select("Column1").filter("Column2").equals("String")
df.filter("Column3").ne("String") 

不确定你到底需要什么(问题的措辞似乎让这里的回答者感到困惑),但根据你最后的评论-如何:

val df = sqlContext.sql("SELECT * FROM Table WHERE faceValue = 'Recommended' AND history <> 'default'")
val df=sqlContext.sql(“从表中选择*,其中faceValue='Recommended'和history'default')

这是因为在单个列中存在混合类型的无效DFs吗?因为否则,您不应该在一个列中有多个类型->这种查询要么过滤掉所有记录,要么不过滤记录。如果有多个类型,它只会导致运行时异常。更不用说,这不是很容易实现的。df正在加载整个表,我需要根据其他2列的某些条件获取一列。同一列中没有多个类型。答案当然是肯定的。。。。但请详细说明。。。你想做什么?要根据df2中的值筛选df1??我想在这里合并……好的,我有一个名为Demand的表,我想获取DemandCustomers,它的faceValue是推荐的,历史记录不是默认的。所以我的查询是,从Demand中选择DemandCustomer,其中faceValue='Recommendated'和history'default',谢谢Tzach,很抱歉混淆了。我试图看看数据帧查询是否可以像hibernate标准一样使用。我已经像你说的那样试过了,但是不起作用,我使用的是1.5.1版本。我有一个解决办法,但我只是想检查是否有一种方法可以使用像hibernateOK这样的数据帧,我想它是从spark的1.6版本开始工作的,之前我使用的是1.5。