Apache spark 从spark HiveContext锁定配置单元表

我们正在为我们的数据仓库需求设置配置单元，并使用spark进行处理，而配置单元作为存储。我们的文件非常小（val hiveContext=new hiveContext（sc） 16/04/07 07:14:55信息配置单元。配置单元上下文：初始化执行配置单元，版本0.13.1 hiveContext:org.apache.spark.sql.hive.hiveContext=org.apache.spark.sql.hive。HiveContext@723fadfe scala>hiveContext.sql（“锁表ma.t26013_75独占”） 16/04/07 07:15:00 INFO parse.ParseDriver:解析命令：锁定表ma.t26013_75独占 16/04/07 07:15:00信息解析。解析驱动程序：解析完成 16/04/07 07:15:00信息hive.HiveContext:正在使用Spark类初始化HiveMetastoreConnection版本0.13.1。 16/04/07 07:15:01警告util.NativeCodeLoader:无法为您的平台加载本机hadoop库…在适用的情况下使用内置java类 16/04/07 07:15:01 INFO hive.metastore:尝试使用URI连接到metastorethrift://localhost:9083 16/04/07 07:15:01信息配置单元。元存储：已连接到元存储。 16/04/07 07:15:02信息会话。会话状态：此时不需要Tez会话。hive.execution.engine=mr。 16/04/07 07:15:02信息日志。性能记录器： 16/04/07 07:15:02信息日志。性能记录器： 16/04/07 07:15:02信息ql.驱动程序：禁用并发模式，不创建锁管理器 16/04/07 07:15:02信息日志。性能记录器： 16/04/07 07:15:02信息日志。性能记录器： 16/04/07 07:15:02 INFO parse.ParseDriver:解析命令：锁定表ma.t26013_75独占 16/04/07 07:15:02信息解析。解析驱动程序：解析完成 16/04/07 07:15:02信息日志。性能记录器： 16/04/07 07:15:02信息日志。性能记录器： 16/04/07 07:15:02信息驱动程序：语义分析已完成 16/04/07 07:15:02信息日志。性能记录器： 16/04/07 07:15:02信息ql.驱动程序：返回配置单元架构：架构（FieldSchema:null，properties:null） 16/04/07 07:15:02信息日志。性能记录器： 16/04/07 07:15:02信息日志。性能记录器： 16/04/07 07:15:02信息ql.驾驶员：启动命令：锁定表ma.t26013_75独占 16/04/07 07:15:02信息日志。性能记录器： 16/04/07 07:15:02信息日志。性能记录器： 16/04/07 07:15:02信息日志。性能记录器： 16/04/07 07:15:02信息lockmgr.DummyTxnManager:已禁用并发模式，不创建锁管理器 16/04/07 07:15:02错误exec.ddlstask:org.apache.hadoop.hive.ql.metadata.HiveException:未指定锁表锁管理器 位于org.apache.hadoop.hive.ql.exec.ddlstask.lockTable（ddlstask.java:2880） 位于org.apache.hadoop.hive.ql.exec.ddlstask.execute（ddlstask.java:405） 位于org.apache.hadoop.hive.ql.exec.Task.executeTask（Task.java:153） 位于org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential（TaskRunner.java:85） 位于org.apache.hadoop.hive.ql.Driver.launchTask（Driver.java:1503） 位于org.apache.hadoop.hive.ql.Driver.execute（Driver.java:1270） 位于org.apache.hadoop.hive.ql.Driver.runInternal（Driver.java:1088） 位于org.apache.hadoop.hive.ql.Driver.run（Driver.java:911） 位于org.apache.hadoop.hive.ql.Driver.run（Driver.java:901） 位于org.apache.spark.sql.hive.client.ClientWrapper$$anonfun$runHive$1.apply（ClientWrapper.scala:345） 位于org.apache.spark.sql.hive.client.ClientWrapper$$anonfun$runHive$1.apply（ClientWrapper.scala:326） 位于org.apache.spark.sql.hive.client.ClientWrapper.withHiveState（ClientWrapper.scala:155） 位于org.apache.spark.sql.hive.client.ClientWrapper.runHive（ClientWrapper.scala:326） 位于org.apache.spark.sql.hive.client.ClientWrapper.runSqlHive（ClientWrapper.scala:316） 位于org.apache.spark.sql.hive.HiveContext.runSqlHive（HiveContext.scala:473） 位于org.apache.spark.sql.hive.execution.HiveNativeCommand.run（HiveNativeCommand.scala:33） 位于org.apache.spark.sql.executioncommand.sideEffectResult$lzycompute（commands.scala:57） 位于org.apache.spark.sql.execution.executeCommand.sideEffectResult（commands.scala:57） 位于org.apache.spark.sql.execution.executeCommand.doExecute（commands.scala:68） 位于org.apache.spark.sql.execution.SparkPlan$$anonfun$execute$1.apply（SparkPlan.scala:88） 位于org.apache.spark.sql.execution.SparkPlan$$anonfun$execute$1.apply（SparkPlan.scala:88） 位于org.apache.spark.rdd.RDDOperationScope$.withScope（RDDOperationScope.scala:147） 位于org.apache.spark.sql.execution.SparkPlan.execute（SparkPlan.scala:87） 位于org.apache.spark.sql.SQLContext$QueryExecution.toRdd$lzycompute（SQLContext.scala:950） 位于org.apache.spark.sql.SQLContext$QueryExecution.toRdd（SQLContext.scala:950） 位于org.apache.spark.sql.DataFrame（DataFrame.scala:144） 位于org.apache.spark.sql.DataFrame（DataFrame.scala:128） 位于org.apache.spark.sql.DataFrame$.apply（DataFrame.scala:51） 位于org.apache.spark.sql.SQLContext.sql（SQLContext.scala:755） 第68行。$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC。（：27） 第68行。$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC。（：32） 第68行。$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC。（：34） 第68行。$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC。（：36） 第68行。$read$$iwC$$iwC$$iwC$$iwC$$iwC。（：38） 第68行。$read$$iwC$$iwC$$iwC。（：40） 第68行。$read$$iwC$$iwC。（：42） 第68行。$read$$iwC。（:44） 第68行。$read。（:46） 在$line68.$read$（：50） 第68行$read$（） 在$line68。$eval$（：7） 在$line68.$eval$（） 在$line68.$eval.$print（）处 在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）处 位于sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62） 在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）中 位于java.lang.reflect.Method.invoke（Method.java:498） 位于org.apache.spark.repl.SparkIMain$ReadEvalPrint.call（SparkIMain.scala:1065） 位于org.apache.spark.repl.SparkIMain$Request.loadAndRun（SparkIMain.scala:1338） 在org.apache.spark.repl.SparkIMain.loadAndRunReq$1（SparkIMain.scala:840） 在org.apache.spark.repl.SparkIMain.exploration上（SparkIMain.scala:871） 在org.apache.spark.repl.SparkIMain.exploration上（SparkIMain.scala:819） 在org.apache.spark.repl.SparkILoop.really解释$1（SparkILoop.scala:8

hive> LOCK TABLE t26013_75 exclusive;
OK
Time taken: 0.106 seconds

scala> hiveContext.setConf("hive.support.concurrency","true")

<configuration>
<property>
  <name>hive.metastore.uris</name>
  <value>thrift://localhost:9083</value>
</property>