如何在hadoop中的单节点集群中运行Java程序?我是否需要将java代码转换成JAR文件,然后执行?

如何在hadoop中的单节点集群中运行Java程序?我是否需要将java代码转换成JAR文件,然后执行?,java,hadoop,cluster-computing,Java,Hadoop,Cluster Computing,我想在单节点hadoop集群上运行我的自定义java代码/程序。 如何在hadoop中的单节点集群中运行Java程序?是否需要将Java代码转换为JAR文件,然后执行?是的,需要转换为.JAR文件。我会一步一步地向你解释 1) 在EclipseIDE中编写java代码 2) 要创建项目的jar,请遵循链接 3) 使用以下命令将数据集复制到HDFS $ bin/hadoop dfs -copyFromLocal /path/to/file/on/filesystem /path/to/input/

我想在单节点hadoop集群上运行我的自定义java代码/程序。
如何在hadoop中的单节点集群中运行Java程序?是否需要将Java代码转换为JAR文件,然后执行?

是的,需要转换为.JAR文件。我会一步一步地向你解释

1) 在EclipseIDE中编写java代码

2) 要创建项目的jar,请遵循链接

3) 使用以下命令将数据集复制到HDFS

$ bin/hadoop dfs -copyFromLocal /path/to/file/on/filesystem /path/to/input/on/hdfs
4) 通过提供存储在HDFS中的数据集的路径来运行jar,您可以按照以下命令操作

$ bin/hadoop jar path/to/jar/on/filesystem /path/to/input/on/hdfs /path/to/outputdir/on/hdfs
5) 以下命令用于验证输出文件夹中的结果文件

$ bin/hadoop fs -ls /path/to/outputdir/on/hdfs
6) 以下命令用于查看-00000部分文件中的输出。此文件由HDFS生成

$ bin/hadoop fs -cat path/to/output_dir/part-00000 

希望这对您有所帮助。

您必须至少编译java文件。纯java文件仅在IDE中“运行”(因为它们首先在后台为您编译)。是否部署所有需要的类文件或包含这些类文件的jar取决于您。