Java 在客户端上不使用Hadoop运行时向Hadoop提交作业

Java 在客户端上不使用Hadoop运行时向Hadoop提交作业,java,hadoop,Java,Hadoop,在许多手册中,都有使用Hadoop shellscript(可在Hadoop发行版中找到)向Hadoop提交作业的说明。如我所见,这意味着在客户端主机上安装整个Hadoop生态系统,并在站点设置中配置主节点等 有没有其他方法可以在客户端不安装Hadoop的情况下提交作业?Hadoop不会阻止我们从远程客户端提交作业,而不必在客户端上安装Hadoop。共享同一网络的任何计算机都可以用来提交作业。客户机除了提交作业,然后等待作业完成之外,没有其他事情可做 也就是说,有几种方法可以做到这一点。一种方法

在许多手册中,都有使用Hadoop shellscript(可在Hadoop发行版中找到)向Hadoop提交作业的说明。如我所见,这意味着在客户端主机上安装整个Hadoop生态系统,并在站点设置中配置主节点等


有没有其他方法可以在客户端不安装Hadoop的情况下提交作业?

Hadoop不会阻止我们从远程客户端提交作业,而不必在客户端上安装Hadoop。共享同一网络的任何计算机都可以用来提交作业。客户机除了提交作业,然后等待作业完成之外,没有其他事情可做

也就是说,有几种方法可以做到这一点。一种方法是直接通过IDE运行代码,例如Eclipse。但是,您需要将IDE指向集群

conf.set("fs.default.name", "hdfs://NN_HOST:9000");
conf.set("mapred.job.tracker", "JT_HOST:9001");
另一种方法是创建一个包含所有必需二进制文件的胖jar。将jar复制到JT机器并在那里运行

你可以找到更多和更多