Scala 针对配置单元的Spark SQL构建?
我已经下载了spark release-1.3.1,包类型是为Hadoop 2.6和更高版本预构建的 现在我想使用spark shell在scala代码下运行,所以我遵循以下步骤Scala 针对配置单元的Spark SQL构建?,scala,hadoop,apache-spark,spark-streaming,apache-spark-sql,Scala,Hadoop,Apache Spark,Spark Streaming,Apache Spark Sql,我已经下载了spark release-1.3.1,包类型是为Hadoop 2.6和更高版本预构建的 现在我想使用spark shell在scala代码下运行,所以我遵循以下步骤 1. bin/spark-shell 2. val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) 3. sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)
1. bin/spark-shell
2. val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
3. sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
现在的问题是如果我在浏览器上验证它
select * from src;
然后我得到
未找到表异常
这意味着尚未创建表。我如何配置配置带有spark shell的配置单元以使其成功。我想使用SparkSQL,还需要从配置单元读取和写入数据
我随机听说我们需要将hive-site.xml文件复制到spark目录的某个地方
有人能给我解释一下SparkSQL和Hive配置的步骤吗
谢谢
Tushar事实上,hive-site.xml的方向是正确的。看一看
另外,听起来您希望从spark创建一个配置单元表,以便在与上面相同的文档中查看“保存到持久表”。从同一文档链接复制的第二点和第三点。需要更多细节吗