Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/ant/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用集成SQL语言的schemaRDD的SQL函数_Sql_Apache Spark_Apache Spark Sql - Fatal编程技术网

使用集成SQL语言的schemaRDD的SQL函数

使用集成SQL语言的schemaRDD的SQL函数,sql,apache-spark,apache-spark-sql,Sql,Apache Spark,Apache Spark Sql,我想使用基于SQL函数的集成SQL语言过滤schemaRDD。例如,我想跑步 SELECT name FROM people WHERE name LIKE '%AHSAN%' AND name regexp '^[A-Z]{20}$' 如何在people.where()中使用此类SQL函数? 参考资料: 对于语言集成的SQL,我将遵循给出的示例 val sqlContext=new org.apache.spark.sql.sqlContext(sc) 导入sqlContext_ val人员

我想使用基于SQL函数的集成SQL语言过滤schemaRDD。例如,我想跑步

SELECT name FROM people WHERE name LIKE '%AHSAN%' AND name regexp '^[A-Z]{20}$'
如何在people.where()中使用此类SQL函数?

参考资料:

对于语言集成的SQL,我将遵循给出的示例

val sqlContext=new org.apache.spark.sql.sqlContext(sc)
导入sqlContext_
val人员:RDD[人员]=…//案例类对象的RDD,来自第一个示例。

//以下内容与“从年龄>=10和年龄=10的人中选择姓名”相同。其中('age)可以使用数字运算符之类的SQL函数。例如

people.where('name like "%AHSAN%").where('name rlike "^[A-Z]{20}$").select('name)

Spark SQL中没有
regexp
,但它与
rlike

一样,我们可以有两个where条件吗?是的,多个where条件都可以。
people.where('name like "%AHSAN%").where('name rlike "^[A-Z]{20}$").select('name)