Debugging 有没有一种方法可以使用eclipse调试hadoop的namenode或datanode?
如果我能在伪分布式或完全分布式模式下调试namenode和datanode的实际工作机制,我认为详细理解Hadoop对我来说是非常好的 我认为apaceh hadoop团队或。。hadoop、hdfs或mapreduce的任何主要开发人员都可以做到这一点,但没有任何文档提到这种方法 每个文档都提到了如何在本地环境中使用eclipse调试mapreduce。这意味着LocalJopRunner正在运行,我们可以看到LocalJobRunner是如何运行的Debugging 有没有一种方法可以使用eclipse调试hadoop的namenode或datanode?,debugging,hadoop,mapreduce,Debugging,Hadoop,Mapreduce,如果我能在伪分布式或完全分布式模式下调试namenode和datanode的实际工作机制,我认为详细理解Hadoop对我来说是非常好的 我认为apaceh hadoop团队或。。hadoop、hdfs或mapreduce的任何主要开发人员都可以做到这一点,但没有任何文档提到这种方法 每个文档都提到了如何在本地环境中使用eclipse调试mapreduce。这意味着LocalJopRunner正在运行,我们可以看到LocalJobRunner是如何运行的 谢谢。您可以在上找到有关这方面的详细信息。
谢谢。您可以在上找到有关这方面的详细信息。它详细介绍了如何设置开发环境、如何开发单元测试等内容
HTH要调试hadoop守护程序,您可以在/etc/default/hadoop守护程序名称中添加Java调试选项 例如,要调试名称节点,请将以下内容添加到/etc/default/hadoop hdfs namenode
export HADOOP_OPTS="$HADOOP_OPTS -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=8000"
然后您可以从eclipse远程连接到端口8000上的namenode。
显然,删除后,因为它会打开您的名称节点,从世界任何地方的潜在滥用