Hadoop 在HBase中以伪分布式模式保存批量数据的问题

Hadoop 在HBase中以伪分布式模式保存批量数据的问题,hadoop,hbase,hive,hdfs,Hadoop,Hbase,Hive,Hdfs,我正在以伪分布式模式设置CDH4 我已经安装了Hadoop,并且按照CDH4安装指南的建议,我也成功地完成了hdfs演示 我还设置了、配置单元和HBase 为了在Hbase中填充数据,我编写了一个java客户机,它在Hbase中填充大容量数据(4个表中各约1M行) 现在我面临两个问题: 当java客户端运行将虚拟数据移植到hbase时,regionserver在总共输入大约4,50000行数据后关闭 使用配置单元,我无法访问在HBase中创建的表,或者最糟糕的是,我甚至无法从配置单元外壳创建表。

我正在以伪分布式模式设置CDH4

我已经安装了Hadoop,并且按照CDH4安装指南的建议,我也成功地完成了hdfs演示

我还设置了、配置单元和HBase

为了在Hbase中填充数据,我编写了一个java客户机,它在Hbase中填充大容量数据(4个表中各约1M行)

现在我面临两个问题:

  • 当java客户端运行将虚拟数据移植到hbase时,regionserver在总共输入大约4,50000行数据后关闭
  • 使用配置单元,我无法访问在HBase中创建的表,或者最糟糕的是,我甚至无法从配置单元外壳创建表。不过,hbase shell向我显示了数据/表结构(regionserver关闭之前生成的数据/表)
  • 我看过其他关于同样的帖子。第二个问题似乎与my/etc/hosts或hive-site.xml有关。因此,我粘贴的内容,他们两个

    /etc/hosts

    hive site.xml

    此外,在HBase shell中执行某些操作时,也会出现此错误

    前一个错误在hbase外壳上出现的另一个错误与zookeeper有关。堆栈跟踪:

    'WARN zookeeper.ZKUtil: catalogtracker-on-    org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation@6a9a56bf-    0x1413718482c0010 Unable to get data of znode /hbase/unassigned/1028785192
    org.apache.zookeeper.KeeperException$SessionExpiredException: KeeperErrorCode = Session     expired for /hbase/unassigned/1028785192'
    

    请帮忙。谢谢

    显示日志会很有帮助。嗨,塔里克,谢谢你的回复。我设法克服了这一点。现在,我面临另一个问题。我在HBase中已经有4个表了,我想在HiveShell中为其创建外部表。但是在配置单元外壳上运行create external table命令时会出现以下错误:错误:org.apache.hadoop.hbase.client.NoServerForRegionException:在-ROOT-for-region.META.中没有列出服务器地址,,,1.1028785192包含行您是否发现了问题?
    <configuration>
    
    <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://localhost:3306/metastore</value>
      <description>the URL of the MySQL database</description>
    </property>
    
    <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.jdbc.Driver</value>
    </property>
    
    <property>
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>hive</value>
    </property>
    
    
    <property>
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>mypassword</value>
    </property>
    
    <property>
      <name>datanucleus.autoCreateSchema</name>
      <value>false</value>
    </property>
    
    <property>
      <name>datanucleus.fixedDatastore</name>
      <value>true</value>
    </property>
    
    <property>
      <name>hive.metastore.uris</name>
      <value>thrift://127.0.0.1:9083</value>
      <description>IP address (or fully-qualified domain name) and port of the metastore     host</description>
    </property>
    
    <property>
      <name>hive.support.concurrency</name>
      <description>Enable Hive's Table Lock Manager Service</description>
      <value>true</value>
    </property>
    
    <property>
      <name>hive.zookeeper.quorum</name>
      <description>Zookeeper quorum used by Hive's Table Lock Manager</description>
      <value>zk1.myco.com,zk2.myco.com,zk3.myco.com</value>
    </property>
    
    <property>
      <name>hbase.zookeeper.quorum</name>
      <description>Zookeeper quorum used by Hive's Table Lock Manager</description>
      <value>zk1.myco.com,zk2.myco.com,zk3.myco.com</value>
    </property>
    
    <property>
      <name>hive.server2.authentication</name>
      <value>NOSASL</value>
    </property>
    </configuration>
    
    'ERROR: org.apache.hadoop.hbase.client.NoServerForRegionException: No server address listed in -ROOT- for region .META.,,1.1028785192 containing row'
    
    'WARN zookeeper.ZKUtil: catalogtracker-on-    org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation@6a9a56bf-    0x1413718482c0010 Unable to get data of znode /hbase/unassigned/1028785192
    org.apache.zookeeper.KeeperException$SessionExpiredException: KeeperErrorCode = Session     expired for /hbase/unassigned/1028785192'