Java Hadoop Mapreduce字数示例意外终止

我尝试在Linux（Ubuntu虚拟机）中使用Hadoop map reduce，方法如下

我在一个示例文件上运行了wordcount示例。进程意外终止。我如何调试这个

最初，我在大数据集上遇到内存不足错误

15/11/28 19:24:27 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]
15/11/28 19:24:27 INFO mapred.MapTask: Processing split: hdfs://localhost:54310/user/hduser/eg2/a.txt:0+1538
Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000e6093000, 104861696, 0) failed; error='Cannot allocate memory' (errno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (malloc) failed to allocate 104861696 bytes for committing reserved memory.
# An error report file with more information is saved as:
# /usr/local/hadoop/hs_err_pid7516.log

因此，我减小了文件的大小，并再次尝试，结果导致意外终止

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar  wordcount /user/hduser/eg2/ /user/hduser/eg2/eg2-output2
......
......
15/11/28 18:55:44 INFO mapred.LocalJobRunner: Waiting for map tasks
15/11/28 18:55:44 INFO mapred.LocalJobRunner: Starting task: attempt_local1996683170_0001_m_000000_0
15/11/28 18:55:44 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]
15/11/28 18:55:44 INFO mapred.MapTask: Processing split: hdfs://localhost:54310/user/hduser/eg2/a.txt:0+1538
15/11/28 18:55:45 INFO mapreduce.Job: Job job_local1996683170_0001 running in uber mode : false
15/11/28 18:55:45 INFO mapreduce.Job:  map 0% reduce 0%
Killed

为什么流程会被终止

试试看：

Hadoop job -list

终止所有作业并重新运行：

Hadoop job –kill <JobID>

尝试：

终止所有作业并重新运行：

Hadoop job –kill <JobID>

---

数据集的大小无关紧要。Hadoop没有足够的内存启动。我尝试增加虚拟机的内存，问题得到了解决。

数据集的大小无关紧要。Hadoop没有足够的内存启动。我尝试增加虚拟机的内存，问题得到了解决。

感谢您的命令。它帮助我调试了这个问题。通过增加为我的虚拟机分配的RAM，它得到了修复。我不知道hadopp需要这么多内存才能运行。谢谢你的命令。它帮助我调试了这个问题。通过增加为我的虚拟机分配的RAM，它得到了修复。我不知道hadopp需要这么多内存才能运行。您可以运行hadoop fsck/检查hdfs的状态我猜一个或多个副本可能无法工作您可以运行hadoop fsck/检查hdfs的状态我猜一个或多个副本可能无法工作