Hadoop第一个示例

我对大数据的想法很陌生&Hadoop，因此对于任何明显的问题，我深表歉意

基本上，我在尝试运行Hadoop示例时遇到了一些问题，如下所示：

jar hadoop-examples-1.2.1.jar  pi 4 1000
Illegal option: h

显然我使用了错误的用法，但我不知道是什么

有人能告诉我我在这里遗漏了什么吗

---

谢谢

杰里米的评论是关于钱的。通常，示例可执行jar同时在本地jvm和集群工作节点上运行。它应该使用hadoop commmand:hadoop（或hadoop 2.0版及更高版本中的Thread）启动，以确保正确加载集群配置和相关库。有关完整的演练，请参见此处的hadoop教程，了解您的1.2.1版本：

---

如果有机会，您应该查看最新的hadoop版本。现在已经是2.6.0了。

您应该以“hadoop”为前缀来运行它

---

hadoop-jar-hadoop-examples-1.2.1.jar pi 4 1000

通常语法是：

hadoop-jar-hadoop-examples-1.2.1.jar pi 4 1000

非常感谢。事实上，我忘了添加hadoop。我将标记Pual-answer，因为您的是注释。jar中的驱动程序确实在本地JVM上运行，然后JVM提取映射器和reducer代码，并将其发送到要执行的工作节点。

hadoop

命令行工具（而不是说，

java jar

）对于自动设置本地hadoop jar的类路径非常有用，这样驱动程序就可以完成所有这些。根据Jeremy的反馈更新了答案。这段摘自JavadocforJob submission的内容可能有助于澄清job submission的内部结构：job submission过程包括：检查job的输入和输出规范。计算作业的输入拆分。如有必要，为作业的DistributedCache设置必要的记帐信息。将作业的jar和配置复制到分布式文件系统上的map reduce系统目录。将作业提交给JobTracker并监视其状态（可选）。