使用集成SQL语言的schemaRDD的SQL函数
我想使用基于SQL函数的集成SQL语言过滤schemaRDD。例如,我想跑步使用集成SQL语言的schemaRDD的SQL函数,sql,apache-spark,apache-spark-sql,Sql,Apache Spark,Apache Spark Sql,我想使用基于SQL函数的集成SQL语言过滤schemaRDD。例如,我想跑步 SELECT name FROM people WHERE name LIKE '%AHSAN%' AND name regexp '^[A-Z]{20}$' 如何在people.where()中使用此类SQL函数? 参考资料: 对于语言集成的SQL,我将遵循给出的示例 val sqlContext=new org.apache.spark.sql.sqlContext(sc) 导入sqlContext_ val人员
SELECT name FROM people WHERE name LIKE '%AHSAN%' AND name regexp '^[A-Z]{20}$'
如何在people.where()中使用此类SQL函数?
参考资料:
对于语言集成的SQL,我将遵循给出的示例
val sqlContext=new org.apache.spark.sql.sqlContext(sc)
导入sqlContext_
val人员:RDD[人员]=…//案例类对象的RDD,来自第一个示例。
//以下内容与“从年龄>=10和年龄=10的人中选择姓名”相同。其中('age)可以使用数字运算符之类的SQL函数。例如
people.where('name like "%AHSAN%").where('name rlike "^[A-Z]{20}$").select('name)
Spark SQL中没有regexp
,但它与rlike
一样,我们可以有两个where条件吗?是的,多个where条件都可以。
people.where('name like "%AHSAN%").where('name rlike "^[A-Z]{20}$").select('name)