如何在独立hadoop设置(伪分布式)上启动多个datanode进程

如何在独立hadoop设置(伪分布式)上启动多个datanode进程,hadoop,Hadoop,我是Hadoop新手。我已经在运行Ubuntu13.03的单个虚拟机上配置了独立的hadoop设置。使用start all.sh启动hadoop进程后,jps命令显示 775 DataNode 1053 JobTracker 962 SecondaryNameNode 1365 Jps 1246 TaskTracker 590 NameNode 据我所知,Hadoop从1个namenode和1个datanode开始。我想创建多个datanode进程,即datanode的多个实例。有什么方法可以

我是Hadoop新手。我已经在运行Ubuntu13.03的单个虚拟机上配置了独立的hadoop设置。使用
start all.sh
启动hadoop进程后,
jps
命令显示

775 DataNode
1053 JobTracker
962 SecondaryNameNode
1365 Jps
1246 TaskTracker
590 NameNode

据我所知,Hadoop从1个namenode和1个datanode开始。我想创建多个datanode进程,即datanode的多个实例。有什么方法可以做到这一点吗?

如何安装和配置Hadoop有多种可能性

  • 本地(独立)模式-这意味着所有Hadoop组件都在一个单一Java进程中运行
  • 伪分布式模式-Hadoop将其所有组件(datanode、tastracker、jobtracker、namenode等)作为单独的Java进程运行。It服务器作为完全分布式安装的模拟服务器,但它仅在本地计算机上运行
  • 分布式模式-完全分布式安装。简而言之,没有任何细节:有些机器扮演“从”角色,包含Datanode+Tasktracker组件,还有一台服务器扮演“主”角色,包含Namenode+JobTracker
  • 回到你的问题,如果你想在一台机器上运行Hadoop,你有前两个选择。不可能在单个节点上以完全分布式模式运行它。也许你可以做一个变通办法,但从基本观点来看,这是不可能的。Hadoop被设计成一个分布式系统,在一台机器上运行它的可能性仅用于调试/试用目的


    更多详情请参见下文。我希望我回答了你的问题。

    如果一台机器有许多内核,而且任务涉及大数据,为什么不能在一台机器上以完全分布式模式使用Hadoop?