Hadoop HBase sqoop导入冻结

Hadoop HBase sqoop导入冻结,hadoop,hbase,cloudera,sqoop,Hadoop,Hbase,Cloudera,Sqoop,在cloudera群集上: 我试着在HBase中导入一个100k行的mysql表,但成功了。 现在我正在尝试导入一个264M行的postgre表。起初,我允许默认的映射器数量(没有“-m”选项),但是在35行或100行之后,sqoop作业的控制台给了我这个错误:“org.apache.hadoop.client.RetriesExhaustedWithDetails:Failed XXX actions:servers with issues:xxxxxxxxxxxx”,在运行正常的机器上,我的

在cloudera群集上: 我试着在HBase中导入一个100k行的mysql表,但成功了。 现在我正在尝试导入一个264M行的postgre表。起初,我允许默认的映射器数量(没有“-m”选项),但是在35行或100行之后,sqoop作业的控制台给了我这个错误:“org.apache.hadoop.client.RetriesExhaustedWithDetails:Failed XXX actions:servers with issues:xxxxxxxxxxxx”,在运行正常的机器上,我的所有服务在Cloudera上都是绿色的。 为了避免这种情况,我尝试设置一个映射器(“-m1”)。没有更多的错误,但是在100-110行之后,sqoop停止添加新行,cloudera的日志中没有任何内容。。。我试图让导入连续运行3天。 一些信息:我让sqoop选择行id。原始表是3列键控的(使用varchars)。
我想我有一些错误的配置,但我不知道是哪一个…

好的,我找到了。Hbase在表的3个主键之一的基础上采用默认的单键。结果是:它使用相同的第一个主键重新写入上一行。它不会结冰。我现在已经指定了他必须使用哪些列存储在HBase中