Can';t使用Pig从hbase加载数据
我尝试从hbase表加载所有数据。里面有10093条记录。 这是我的猪剧本Can';t使用Pig从hbase加载数据,hbase,apache-pig,Hbase,Apache Pig,我尝试从hbase表加载所有数据。里面有10093条记录。 这是我的猪剧本 register 'zookeeper.jar' register 'hbase-server-0.98.6-cdh5.3.2.jar' result = LOAD 'hbase://clf_transaction_train' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage( 'cf:features cf:content', '-loadKe
register 'zookeeper.jar'
register 'hbase-server-0.98.6-cdh5.3.2.jar'
result = LOAD 'hbase://clf_transaction_train'
USING org.apache.pig.backend.hadoop.hbase.HBaseStorage(
'cf:features cf:content', '-loadKey true')
AS ( content:bytearray, features:bytearray);
rmf $output;
STORE result INTO '$output';
脚本工作正常——没有任何错误消息。但只加载100条记录
我怎样才能修好它?
谢谢。您可以尝试修改hbase扫描仪超时:
<property>
<name>hbase.rpc.timeout</name>
<value>60000</value>
</property>
<property>
<name>hbase.client.scanner.timeout.period</name>
<value>60000</value>
</property>
<property>
<name>hbase.cells.scanned.per.heartbeat.check</name>
<value>10000</value>
</property>
hbase.rpc.timeout
60000
hbase.client.scanner.timeout.period
60000
hbase.cells.scanned.per.heartbeat.check
10000
这里有更多细节