Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/solr/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark-绕过临时视图以查询配置单元_Apache Spark_Apache Spark Sql_Spark Dataframe - Fatal编程技术网

Apache spark Spark-绕过临时视图以查询配置单元

Apache spark Spark-绕过临时视图以查询配置单元,apache-spark,apache-spark-sql,spark-dataframe,Apache Spark,Apache Spark Sql,Spark Dataframe,我正在构建一个自定义应用程序,我希望在其中实现以下目标 if condition x Query from Cached Temp View in memory else Query from Hive directly 我能够通过以下代码实现第一种情况 sql = "select * from x" tableName = "x" if blah.. df.createOrReplaceTempView(tableName) val result = hc.bi.sql(s

我正在构建一个自定义应用程序,我希望在其中实现以下目标

if condition x
  Query from Cached Temp View in memory
else 
  Query from Hive directly
我能够通过以下代码实现第一种情况

sql = "select * from x"
tableName = "x"
if blah..
  df.createOrReplaceTempView(tableName)
  val result = hc.bi.sql(sql)
else
  // get data from hive directly

备注:视图名称与hive metastore中的表名称相同

您可以直接使用Spark SQL查询拼花地板/CSV/ORC。检查我实际上在寻找一种比在文件系统中指定文件更直接的方法你说的比在文件系统中指定文件更直接的方法是什么意思?在工作中有数百万个表。有1000个用户。我不能要求用户以这种格式指定查询,我自己也不能这样做,因为我必须在nafaik中解析查询,在Spark-to-query(SQL)中,对任何表只有两种方式。1) 使用metastore(表名)或2)直接使用文件(并非所有格式都支持该文件)