Hadoop 在CDH 5 beta节点的子集上运行TestDFSIO测试

Hadoop 在CDH 5 beta节点的子集上运行TestDFSIO测试,hadoop,hdfs,cloudera,Hadoop,Hdfs,Cloudera,我在两台ESXi服务器的五个节点上安装了Cloudera CDH 5 beta群集: ESXi Server 1 : 1. NameNode VM 2. DataNode1 VM 3. DataNode3 VM ESXi server 2: 1. DataNode3 VM 2. DataNode4 VM 我想运行TestDFSIO测试,以便它只在ESXi 1虚拟机上运行。 i、 我想确保测试在同一网络上的虚拟机上运行 我应该为此更改什么配置参数 我正在运行以下命令 TestDFSI

我在两台ESXi服务器的五个节点上安装了Cloudera CDH 5 beta群集:

ESXi Server 1 :
 1. NameNode VM
 2. DataNode1 VM
 3. DataNode3 VM

ESXi server 2:
 1. DataNode3 VM
 2. DataNode4 VM
我想运行TestDFSIO测试,以便它只在ESXi 1虚拟机上运行。 i、 我想确保测试在同一网络上的虚拟机上运行

我应该为此更改什么配置参数

我正在运行以下命令

TestDFSIO命令:

sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH-5.0.0-0.cdh5b1.p0.57/lib/hadoop-0.20-mapreduce/hadoop-test-2.2.0-mr1-cdh5.0.0-beta-1.jar TestDFSIO -write -nrFiles 100 -fileSize 10GB -resFile /tmp/TestDFSIOwrite.txt
sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH-5.0.0-0.cdh5b1.p0.57/lib/hadoop-0.20-mapreduce/hadoop-test-2.2.0-mr1-cdh5.0.0-beta-1.jar TestDFSIO -read -nrFiles 100 -fileSize 10GB -resFile /tmp/TestDFSIOread.txt
写入:

sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH-5.0.0-0.cdh5b1.p0.57/lib/hadoop-0.20-mapreduce/hadoop-test-2.2.0-mr1-cdh5.0.0-beta-1.jar TestDFSIO -write -nrFiles 100 -fileSize 10GB -resFile /tmp/TestDFSIOwrite.txt
sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH-5.0.0-0.cdh5b1.p0.57/lib/hadoop-0.20-mapreduce/hadoop-test-2.2.0-mr1-cdh5.0.0-beta-1.jar TestDFSIO -read -nrFiles 100 -fileSize 10GB -resFile /tmp/TestDFSIOread.txt
阅读:

sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH-5.0.0-0.cdh5b1.p0.57/lib/hadoop-0.20-mapreduce/hadoop-test-2.2.0-mr1-cdh5.0.0-beta-1.jar TestDFSIO -write -nrFiles 100 -fileSize 10GB -resFile /tmp/TestDFSIOwrite.txt
sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH-5.0.0-0.cdh5b1.p0.57/lib/hadoop-0.20-mapreduce/hadoop-test-2.2.0-mr1-cdh5.0.0-beta-1.jar TestDFSIO -read -nrFiles 100 -fileSize 10GB -resFile /tmp/TestDFSIOread.txt

我是否需要用一些配置修改我的命令。选项?

您可能应该在运行测试之前停止其他DataNode。不能将TestDFSIO限制为在节点子集上运行