Hadoop java映射器-copyFromLocal堆大小错误

作为Java映射程序的一部分，我有一个命令在本地节点上执行一些代码，并将本地输出文件复制到hadoop fs。不幸的是，我得到了以下输出：

初始化VM时出错

无法为对象堆保留足够的空间

我尝试将mapred.map.child.java.opts调整为-Xmx512M，但不幸的是没有成功

当我使用ssh连接到节点时，我可以毫无问题地运行-copyFromLocal命令。输出文件也非常小，大约100kb

---

任何帮助都将不胜感激

映射器或还原器中的无限循环可能导致内存不足错误

---

我曾经遇到过一次OoM，当时我有一个while循环，以iterator.hasNext（）作为条件，用于reducer值，并且没有在循环中调用iterator.next（）。

映射器或reducer中的无限循环可能导致内存不足错误

---

我曾经遇到过一次OoM，当时我有一个while循环，以iterator.hasNext（）作为条件，用于reducer值，并且没有在循环中调用iterator.next（）。

检查日志文件并发布任何异常（如果有）。不幸的是，日志文件中没有异常……该“命令在本地noce上执行一些代码”看起来如何？你是否需要另一个进程？是的，只是通过processbuilder执行的另一个进程，很抱歉没有真正跟上所有编码语言的速度。我写的关于processbuilder和Hadoop的内容是关于OOM错误的，也许它可以帮助你：检查日志文件并发布任何异常（如果有的话）。不幸的是，日志文件中没有异常……如何处理“command在本地noce上执行一些代码”看起来像？你有没有分叉另一个进程？是的，只是通过processbuilder执行的另一个进程，抱歉没有真正跟上所有编码语言的速度我写过processbuilder和Hadoop，这是关于OOM错误的，也许它可以帮助你：