Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/16.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 针对配置单元的Spark SQL构建?_Scala_Hadoop_Apache Spark_Spark Streaming_Apache Spark Sql - Fatal编程技术网

Scala 针对配置单元的Spark SQL构建?

Scala 针对配置单元的Spark SQL构建?,scala,hadoop,apache-spark,spark-streaming,apache-spark-sql,Scala,Hadoop,Apache Spark,Spark Streaming,Apache Spark Sql,我已经下载了spark release-1.3.1,包类型是为Hadoop 2.6和更高版本预构建的 现在我想使用spark shell在scala代码下运行,所以我遵循以下步骤 1. bin/spark-shell 2. val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) 3. sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)

我已经下载了spark release-1.3.1,包类型是为Hadoop 2.6和更高版本预构建的

现在我想使用spark shell在scala代码下运行,所以我遵循以下步骤

1. bin/spark-shell

2. val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

3. sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
现在的问题是如果我在浏览器上验证它

select * from src;
然后我得到

未找到表异常

这意味着尚未创建表。我如何配置配置带有spark shell的配置单元以使其成功。我想使用SparkSQL,还需要从配置单元读取和写入数据

我随机听说我们需要将hive-site.xml文件复制到spark目录的某个地方

有人能给我解释一下SparkSQL和Hive配置的步骤吗

谢谢
Tushar

事实上,hive-site.xml的方向是正确的。看一看


另外,听起来您希望从spark创建一个配置单元表,以便在与上面相同的文档中查看“保存到持久表”。

从同一文档链接复制的第二点和第三点。需要更多细节吗