使用PIG脚本将数据加载到HBase

使用PIG脚本将数据加载到HBase,hbase,apache-pig,hbasestorage,Hbase,Apache Pig,Hbasestorage,纱线、HBase和Hive服务在HDP2.1设置伪分布式模式下运行。 为了将数据加载到hBase,我使用了PIG内置支持org.apache.PIG.backend.hadoop.hBase.HBaseStorage功能。问题是它在本地模式下工作正常,但在MR模式下运行时,它不会返回任何错误,只是作业失败了。甚至连工作记录都不存在 我正在“hdfs”用户下运行PIG脚本,并在PIG-Env.sh中设置了HBASE_HOME的Env.变量。并在HADOOP类路径中添加了HBASE\u JARS/Z

纱线、HBase和Hive服务在HDP2.1设置伪分布式模式下运行。 为了将数据加载到hBase,我使用了PIG内置支持org.apache.PIG.backend.hadoop.hBase.HBaseStorage功能。问题是它在本地模式下工作正常,但在MR模式下运行时,它不会返回任何错误,只是作业失败了。甚至连工作记录都不存在

我正在“hdfs”用户下运行PIG脚本,并在PIG-Env.sh中设置了HBASE_HOME的Env.变量。并在HADOOP类路径中添加了HBASE\u JARS/ZOOKEEPER\u JARS

我甚至跟踪了这个

帮帮我,伙计们


谢谢

请把你的猪寄出去script@bridiver这是我的剧本。L=使用PigStorage“|”作为状态加载“数据”:chararray,StatusChangeTimestamp:chararray,County:chararray,ZipCode:chararray,Plus4Low:chararray。。。。。;M=每个L生成ZipCode,加上4Low,租金,住房年龄;把我储存在hbase://hu_values“使用org.apache.pig.backend.hadoop.hbase.HBaseStorage”评级:加上4低评级:租金评级:房屋年龄”;我看不出你的脚本有任何问题,运行它的输出是什么?当检查mapred historyserver日志时,它显示了2014-08-07 19:42:14122错误webapp.Dispatcher Dispatcher.java:service162-错误处理URI:/jobhistory/conf/job14073395936650067java.lang.reflect.InvocationTargetException位于sun.reflect.NativeMethodAccessorImpl.invoke0Native方法。。。。。。导致原因:java.lang.RuntimeException:未找到:org.apache.hadoop.mapreduce.v2.app.webapp.AppController.requireJobAppController.java:385上的作业\u 1407339593665\u 0067。。。41您是否能够将数据写回HDFS而不是HBase?在我看来,它好像找不到你的“数据”文件