Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/qt/7.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Debugging 有没有一种方法可以使用eclipse调试hadoop的namenode或datanode?_Debugging_Hadoop_Mapreduce - Fatal编程技术网

Debugging 有没有一种方法可以使用eclipse调试hadoop的namenode或datanode?

Debugging 有没有一种方法可以使用eclipse调试hadoop的namenode或datanode?,debugging,hadoop,mapreduce,Debugging,Hadoop,Mapreduce,如果我能在伪分布式或完全分布式模式下调试namenode和datanode的实际工作机制,我认为详细理解Hadoop对我来说是非常好的 我认为apaceh hadoop团队或。。hadoop、hdfs或mapreduce的任何主要开发人员都可以做到这一点,但没有任何文档提到这种方法 每个文档都提到了如何在本地环境中使用eclipse调试mapreduce。这意味着LocalJopRunner正在运行,我们可以看到LocalJobRunner是如何运行的 谢谢。您可以在上找到有关这方面的详细信息。

如果我能在伪分布式或完全分布式模式下调试namenode和datanode的实际工作机制,我认为详细理解Hadoop对我来说是非常好的

我认为apaceh hadoop团队或。。hadoop、hdfs或mapreduce的任何主要开发人员都可以做到这一点,但没有任何文档提到这种方法

每个文档都提到了如何在本地环境中使用eclipse调试mapreduce。这意味着LocalJopRunner正在运行,我们可以看到LocalJobRunner是如何运行的


谢谢。

您可以在上找到有关这方面的详细信息。它详细介绍了如何设置开发环境、如何开发单元测试等内容


HTH

要调试hadoop守护程序,您可以在/etc/default/hadoop守护程序名称中添加Java调试选项

例如,要调试名称节点,请将以下内容添加到/etc/default/hadoop hdfs namenode

export HADOOP_OPTS="$HADOOP_OPTS -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=8000"
然后您可以从eclipse远程连接到端口8000上的namenode。 显然,删除后,因为它会打开您的名称节点,从世界任何地方的潜在滥用