Apache spark Spark-绕过临时视图以查询配置单元
我正在构建一个自定义应用程序,我希望在其中实现以下目标Apache spark Spark-绕过临时视图以查询配置单元,apache-spark,apache-spark-sql,spark-dataframe,Apache Spark,Apache Spark Sql,Spark Dataframe,我正在构建一个自定义应用程序,我希望在其中实现以下目标 if condition x Query from Cached Temp View in memory else Query from Hive directly 我能够通过以下代码实现第一种情况 sql = "select * from x" tableName = "x" if blah.. df.createOrReplaceTempView(tableName) val result = hc.bi.sql(s
if condition x
Query from Cached Temp View in memory
else
Query from Hive directly
我能够通过以下代码实现第一种情况
sql = "select * from x"
tableName = "x"
if blah..
df.createOrReplaceTempView(tableName)
val result = hc.bi.sql(sql)
else
// get data from hive directly
备注:视图名称与hive metastore中的表名称相同您可以直接使用Spark SQL查询拼花地板/CSV/ORC。检查我实际上在寻找一种比在文件系统中指定文件更直接的方法你说的比在文件系统中指定文件更直接的方法是什么意思?在工作中有数百万个表。有1000个用户。我不能要求用户以这种格式指定查询,我自己也不能这样做,因为我必须在nafaik中解析查询,在Spark-to-query(SQL)中,对任何表只有两种方式。1) 使用metastore(表名)或2)直接使用文件(并非所有格式都支持该文件)