Hadoop 如何从HDFS执行map reduce程序(例如wordcount)并查看输出?
我是Hadoop新手。我在eclipse中有一个简单的wordcount程序,它接收输入文件,然后显示输出。但是我需要从HDFS执行相同的程序。我已经为wordcount程序创建了一个JAR文件。Hadoop 如何从HDFS执行map reduce程序(例如wordcount)并查看输出?,hadoop,Hadoop,我是Hadoop新手。我在eclipse中有一个简单的wordcount程序,它接收输入文件,然后显示输出。但是我需要从HDFS执行相同的程序。我已经为wordcount程序创建了一个JAR文件。 任何人都可以告诉我如何继续吗?您需要设置群集,即使是单节点群集。然后可以从hadoop命令行运行.jar: 运行一个jar文件。用户可以将Map Reduce代码捆绑在一个jar中 文件并使用此命令执行它 用法:hadoop jar[mainClass]参数… 流作业通过此命令运行。可以参考一些例子
任何人都可以告诉我如何继续吗?您需要设置群集,即使是单节点群集。然后可以从hadoop命令行运行.jar: 运行一个jar文件。用户可以将Map Reduce代码捆绑在一个jar中 文件并使用此命令执行它
用法:hadoop jar[mainClass]参数…
流作业通过此命令运行。可以参考一些例子
从
单词计数示例也使用jar命令运行。可以参考
从
最初,您需要建立一个hadoop集群,如Remus所讨论的 这是两个很好的开始 完成设置后,启动hadoop守护进程并将输入文件复制到任何hdfs目录中 准备程序的jar 使用hadoop jar在终端上运行jar (jar参数取决于您的程序)