Sorting Hadoop在单节点集群上运行排序示例_Sorting_Ubuntu_Random_Hadoop

Sorting Hadoop在单节点集群上运行排序示例

sorting ubuntu random hadoop

Sorting Hadoop在单节点集群上运行排序示例,sorting,ubuntu,random,hadoop,Sorting,Ubuntu,Random,Hadoop,我试图在Hadoop单节点集群上运行排序示例。首先，我开始主持执事会： hadoop@ubuntu：/home/user/hadoop$bin/start all.sh 然后我运行random writer示例来生成顺序文件作为输入文件 hadoop@ubuntu：/home/user/hadoop$bin/hadoop-jar hadoop-*-examples.jar rand hadoop@ubuntu：/home/user/hadoop$bin/hadoop-jar hadoop-*-e

我试图在Hadoop单节点集群上运行排序示例。首先，我开始主持执事会：

hadoop@ubuntu：/home/user/hadoop$bin/start all.sh

然后我运行random writer示例来生成顺序文件作为输入文件

hadoop@ubuntu：/home/user/hadoop$bin/hadoop-jar hadoop-*-examples.jar rand

hadoop@ubuntu：/home/user/hadoop$bin/hadoop-jar hadoop-*-examples.jar rand

正在运行0个映射

Job started: Thu Mar 31 18:21:51 EEST 2011 
11/03/31 18:21:52 INFO mapred.JobClient: Running job: job_201103311816_0001 
11/03/31 18:21:53 INFO mapred.JobClient:  map 0% reduce 0% 
11/03/31 18:22:01 INFO mapred.JobClient: Job complete: job_201103311816_0001 
11/03/31 18:22:01 INFO mapred.JobClient: Counters: 0 
Job ended: Thu Mar 31 18:22:01 EEST 2011

这项工作花了9秒钟

hadoop@ubuntu：/home/user/hadoop$bin/hadoop-jar hadoop-*-examples.jar sort rand sort

在1个节点上运行以从

hdfs://localhost:54310/user/hadoop/rand

进入

hdfs://localhost:54310/user/hadoop/rand-用1进行排序

Job started: Thu Mar 31 18:25:19 EEST 2011 
11/03/31 18:25:20 INFO mapred.FileInputFormat: Total input paths to process : 0 
11/03/31 18:25:20 INFO mapred.JobClient: Running job: job_201103311816_0002 
11/03/31 18:25:21 INFO mapred.JobClient:  map 0% reduce 0% 
11/03/31 18:25:32 INFO mapred.JobClient:  map 0% reduce 100% 
11/03/31 18:25:34 INFO mapred.JobClient: Job complete: job_201103311816_0002 
11/03/31 18:25:34 INFO mapred.JobClient: Counters: 9 
11/03/31 18:25:34 INFO mapred.JobClient:   Job Counters 
11/03/31 18:25:34 INFO mapred.JobClient:     Launched reduce tasks=1 
11/03/31 18:25:34 INFO mapred.JobClient:   FileSystemCounters 
11/03/31 18:25:34 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=96 
11/03/31 18:25:34 INFO mapred.JobClient:   Map-Reduce Framework 
11/03/31 18:25:34 INFO mapred.JobClient:     Reduce input groups=0 
11/03/31 18:25:34 INFO mapred.JobClient:     Combine output records=0 
11/03/31 18:25:34 INFO mapred.JobClient:     Reduce shuffle bytes=0 
11/03/31 18:25:34 INFO mapred.JobClient:     Reduce output records=0 
11/03/31 18:25:34 INFO mapred.JobClient:     Spilled Records=0 
11/03/31 18:25:34 INFO mapred.JobClient:     Combine input records=0 
11/03/31 18:25:34 INFO mapred.JobClient:     Reduce input records=0 
Job ended: Thu Mar 31 18:25:34 EEST 2011

这项工作花了14秒

hadoop@ubuntu：/home/user/hadoop$bin/hadoop dfs-cat rand sort/part-00000

SEQ#“org.apache.hadoop.io.BytesWritable”org.apache.hadoop.io.BytesWritablej”��我的�&�٩�#

我是Hadoop新手。我做的每件事都是正确的，还是做错了什么？我的问题是，如何才能看到randomwritewr生成的数据和排序示例的结果是正确的？从哪里可以看到它们

11/03/31 18:25:20 INFO mapred.FileInputFormat: Total input paths to process : 0

没有输入，您必须提供一个路径，作业必须在该路径中预期其输入文件。似乎RandomWriter也没有输入，您必须为每个作业提供输入，否则将不会启动任何操作

问题是，您的tasktracker在尝试运行作业时没有启动，它不会立即启动。您可以运行bin/hadoop作业-列出活动跟踪器以查看tasktracker是否启动，可能需要一段时间才能完成。没有tasktracker=没有要将写入程序映射到的节点。

问题是您的tasktracker没有在您尝试运行作业时启动，它不会立即启动。您可以运行bin/hadoop作业-列出活动跟踪器以查看tasktracker是否启动，可能需要一些时间才能完成。No tasktracker=没有要将编写器映射到的节点。

我似乎有点卡住了。您能给我一些正确的命令吗ct，这样问题就可以解决了？看：TeraSort基准测试套件我好像有点卡住了..你能给我一些正确的命令，这样问题就可以解决了吗？看：TeraSort基准测试套件