Hadoop 地图减少作业在地图上卡住0%减少0%

我正在运行著名的wordcount示例。我有一个本地和prod hadoop设置。同一个示例在prod中工作，但它不在本地工作。谁能告诉我该找什么。 工作陷入困境。任务日志包括：

~/tmp$ hadoop jar wordcount.jar WordCount /testhistory /outputtest/test
Warning: $HADOOP_HOME is deprecated.

13/08/29 16:12:34 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
13/08/29 16:12:35 INFO input.FileInputFormat: Total input paths to process : 3
13/08/29 16:12:35 INFO util.NativeCodeLoader: Loaded the native-hadoop library
13/08/29 16:12:35 WARN snappy.LoadSnappy: Snappy native library not loaded
13/08/29 16:12:35 INFO mapred.JobClient: Running job: job_201308291153_0015
13/08/29 16:12:36 INFO mapred.JobClient:  map 0% reduce 0%

---

以伪分布式模式运行的本地hadoop。namenode、datanode和jobtracker三个进程都在运行。如果需要一些额外的信息，请告诉我。

tasktracker似乎丢失了

尝试：

---

在Hadoop 2.x中，这个问题可能与内存问题有关，您可以在

中看到它。我也有同样的问题，本页帮助我：

基本上，我通过以下三个步骤解决了我的问题。事实上，我必须配置更多我真正拥有的内存

1） web-site.xml

• warn.resourcemanager.hostname=主机的主机名
• warn.nodemanager.resource.memory-mb=4000
• 纱线.nodemanager.resource.cpu-vcores=2
• warn.scheduler.minimum-allocation-mb=4000

2） mapred-site.xml

• warn.app.mapreduce.am.resource.mb=4000
• warn.app.mapreduce.am.command-opts=-Xmx3768m
• mapreduce.map.cpu.vcores=2
• mapreduce.reduce.cpu.vcores=2

---

3） 跨所有节点发送这些文件，hadoop tasktracker和任何其他问题除外。请检查您的代码并确保没有

无限循环

或任何其他错误。也许你的代码中有一些bug

如果在使用配置单元查询时出现此问题，请检查是否在不利用分区的情况下连接两个非常大的表。不使用分区可能会导致长时间运行的完整表扫描，因此停留在映射0%减少0%。

JT/TT日志中有什么有趣的内容吗？JobTracker日志：

http://pastebin.com/jY1CAQaA

我在日志文件中没有看到任何问题。感谢您提供信息。那么h/w呢？它和prod集群一样吗？尝试监视并查看是否存在与h/w相关的问题，最可能是RAM。您必须有一个正在运行的TT。TT是实际运行映射程序和还原程序的守护进程。没有它，你就无法前进。请确保它运行正常。或者给我看看TT日志。太棒了，成功了。我启动了tasktracker，一切正常。谢谢：）。如果您愿意，您可以将其发布为解决方案，我将接受。对于步骤3：我如何做到？只需使用“scp”命令将文件从一个节点复制到其他节点。我如何跟踪状态？请参阅此处提供的问题和日志，您将找到行<代码>13/08/29 16:12:36信息映射。作业客户端：映射0%减少0%

hadoop tasktracker &