如何使用eclipse调试hadoop字数?

如何使用eclipse调试hadoop字数?,eclipse,debugging,hadoop,Eclipse,Debugging,Hadoop,我想使用eclipse调试wordcount,因为我想了解作业如何在JobTracker中运行。但是hadoop使用代理,我不知道作业如何在JobTracker中运行的具体过程。我应该如何调试 您最好针对单个节点集群(例如Cloudera或Hortonworks提供的一个沙盒)进行“本地”调试:这样您就可以真正一步一步地完成代码,因为只有一个映射器/还原器在起作用。这至少是我的方法:通常我必须调试的问题与特定文件的内容有关;我刚刚将相关文件复制到我的测试系统并在那里调试。谢谢。但我想在JobTr

我想使用eclipse调试wordcount,因为我想了解作业如何在JobTracker中运行。但是hadoop使用代理,我不知道作业如何在JobTracker中运行的具体过程。我应该如何调试

您最好针对单个节点集群(例如Cloudera或Hortonworks提供的一个沙盒)进行“本地”调试:这样您就可以真正一步一步地完成代码,因为只有一个映射器/还原器在起作用。这至少是我的方法:通常我必须调试的问题与特定文件的内容有关;我刚刚将相关文件复制到我的测试系统并在那里调试。

谢谢。但我想在JobTracker中调试作业,而不是在LocalJobRunner中调试作业。我该怎么做?这就是我的观点:你要怎么做?没有办法知道哪个map任务将要处理哪个split,如果有一个断点被X个并行进程击中,就会引起一两个头痛!我使用伪分布式模型,可以吗?@gwgyk:我会在独立模式下尝试。在独立模式下,它将使用LocalJobRunner类,而不是JobTracker类,对吗?它们之间有很大区别吗