Hadoop 如何从HDFS执行map reduce程序(例如wordcount)并查看输出?

Hadoop 如何从HDFS执行map reduce程序(例如wordcount)并查看输出?,hadoop,Hadoop,我是Hadoop新手。我在eclipse中有一个简单的wordcount程序,它接收输入文件,然后显示输出。但是我需要从HDFS执行相同的程序。我已经为wordcount程序创建了一个JAR文件。 任何人都可以告诉我如何继续吗?您需要设置群集,即使是单节点群集。然后可以从hadoop命令行运行.jar: 运行一个jar文件。用户可以将Map Reduce代码捆绑在一个jar中 文件并使用此命令执行它 用法:hadoop jar[mainClass]参数… 流作业通过此命令运行。可以参考一些例子

我是Hadoop新手。我在eclipse中有一个简单的wordcount程序,它接收输入文件,然后显示输出。但是我需要从HDFS执行相同的程序。我已经为wordcount程序创建了一个JAR文件。
任何人都可以告诉我如何继续吗?

您需要设置群集,即使是单节点群集。然后可以从hadoop命令行运行.jar:

运行一个jar文件。用户可以将Map Reduce代码捆绑在一个jar中 文件并使用此命令执行它

用法:hadoop jar[mainClass]参数…

流作业通过此命令运行。可以参考一些例子 从

单词计数示例也使用jar命令运行。可以参考 从


最初,您需要建立一个hadoop集群,如Remus所讨论的

这是两个很好的开始

完成设置后,启动hadoop守护进程并将输入文件复制到任何hdfs目录中

准备程序的jar

使用hadoop jar在终端上运行jar

(jar参数取决于您的程序)