如何转换hbase二进制数据并将其加载到Pig中?
我在Hbase中有一个表,它有2000多行,由二进制格式的数据组成。尝试将其加载到pig中,并使用pig对其进行一些数据处理 样本hbase表数据:-如何转换hbase二进制数据并将其加载到Pig中?,hbase,apache-pig,Hbase,Apache Pig,我在Hbase中有一个表,它有2000多行,由二进制格式的数据组成。尝试将其加载到pig中,并使用pig对其进行一些数据处理 样本hbase表数据:- ROW COLUMN+CELL \x00\x00\x00\x00\x00\x00\x06\xA6 column=cd:cct, timestamp=1475738991531, value=Atlanta \x00\x00\x00\x00\x00\x00\x06\xA6 column=
ROW COLUMN+CELL
\x00\x00\x00\x00\x00\x00\x06\xA6 column=cd:cct, timestamp=1475738991531, value=Atlanta
\x00\x00\x00\x00\x00\x00\x06\xA6 column=cd:cnt, timestamp=1475740226346, value=Network ICE Corp.
\x00\x00\x00\x00\x00\x00\x06\xA6 column=cd:ct, timestamp=1475740596684, value=ISYI srl
C = load ‘hbase://companydetail’
using org.apache.pig.backend.hadoop.hbase.HBaseStorage('cd', '-loadKey true')
as (rowkey:bytearray, cd:map[]);
(�$f,[parent_ccnt#United States,parent_cid#
/�,p
我已经试过了,如本文所述
链接
命令:-
ROW COLUMN+CELL
\x00\x00\x00\x00\x00\x00\x06\xA6 column=cd:cct, timestamp=1475738991531, value=Atlanta
\x00\x00\x00\x00\x00\x00\x06\xA6 column=cd:cnt, timestamp=1475740226346, value=Network ICE Corp.
\x00\x00\x00\x00\x00\x00\x06\xA6 column=cd:ct, timestamp=1475740596684, value=ISYI srl
C = load ‘hbase://companydetail’
using org.apache.pig.backend.hadoop.hbase.HBaseStorage('cd', '-loadKey true')
as (rowkey:bytearray, cd:map[]);
(�$f,[parent_ccnt#United States,parent_cid#
/�,p
但由于它包含大量的二进制数据,因此给出了许多奇怪的符号,这些符号无法读取和理解
样本输出:-
ROW COLUMN+CELL
\x00\x00\x00\x00\x00\x00\x06\xA6 column=cd:cct, timestamp=1475738991531, value=Atlanta
\x00\x00\x00\x00\x00\x00\x06\xA6 column=cd:cnt, timestamp=1475740226346, value=Network ICE Corp.
\x00\x00\x00\x00\x00\x00\x06\xA6 column=cd:ct, timestamp=1475740596684, value=ISYI srl
C = load ‘hbase://companydetail’
using org.apache.pig.backend.hadoop.hbase.HBaseStorage('cd', '-loadKey true')
as (rowkey:bytearray, cd:map[]);
(�$f,[parent_ccnt#United States,parent_cid#
/�,p
我尝试了另一种使用binaryconverter的方法
a = load 'hbase://tablename' using org.apache.pig.backend.hadoop.hbase.HBaseStorage('cd','-loadKey -caster HBaseBinaryConverter') as (rowKey:bytearray,cd:map[]);
但仍然得到与上述示例输出相同的结果。
在我的表中,它包含超过42列和cd列族。
在这42列中有大量二进制格式的数据
请建议我如何将二进制数据读入pig
任何帮助都是值得的
谢谢,
Mohan.V您的示例与我希望将二进制数据打印到控制台的结果非常接近。您希望得到什么样的输出?您的示例与我希望将二进制数据打印到控制台的结果非常接近。您希望获得什么样的输出?