Java hadoop mapreduce的JAR

Java hadoop mapreduce的JAR,java,hadoop,jar,mapreduce,Java,Hadoop,Jar,Mapreduce,我跟随阿帕奇给出的。 此处给出的Java代码使用以下Apache hadoop类: import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apa

我跟随阿帕奇给出的。 此处给出的Java代码使用以下Apache hadoop类:

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
但是我不知道从哪里下载这些JAR。在互联网上搜索这些课程,我可以看到它们是可用的

但是,这些和JAR的正式/可信Apache存储库是什么

如果JAR与hadoop一起提供,请告诉我路径

编辑:其他问题没有给出明确的说明。 我发现答案如下

提到:

下载Hadoop-core-1.2.1.jar,它用于编译和执行MapReduce程序。访问以下链接下载jar


所以这看起来是真实的存储库

下面的教程使用Hadoop 1.0。这意味着你拥有的罐子和教程使用的罐子是不同的。如果您使用的是Hadoop2.X,请遵循使用该版本的教程。您不需要从第三方下载JAR,只需要知道特定hadoop版本的API的正确使用

我使用NetBeans创建了一个新的Maven项目

然后在项目文件下,我打开pom.xml

我加进去

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-core</artifactId>
        <version>0.20.2</version>
    </dependency> 

org.apache.hadoop
hadoop内核
0.20.2
使用依赖项构建之后,我现在可以开始编写代码了。

提到:

下载Hadoop-core-1.2.1.jar,它用于编译和执行MapReduce程序。访问以下链接下载jar


因此,在当前版本2.7.1中,您可以找到不同版本的所有jar,我在缺少artifact org.apache.hadoop:hadoop-mapreduce:jar:2.7.1时跌跌撞撞地发现,这个jar似乎被拆分为多个较小的jar

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.7.1</version>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-common</artifactId>
    <version>2.7.1</version>
</dependency>

org.apache.hadoop

)

如果出现此类错误,只需在终端上键入命令:

导出HADOOP_HOME=$(HADOOP类路径)

注意:您必须在./bashrc文件中检查您自己的hadoop配置名称。 在hadoop安装时,我们在.bashrc文件中设置hadoop和java路径。
我们必须在这里查看

最好的方法是下载Hadoop(3.x.y),并从
Hadoop-3.x.y/share/Hadoop/mapreduce


1.hadoop-common-3.x.y.jar
2.hadoop-mapreduce-client-core-3.x.y.jar

这对我有用

尝试使用编译:
javac-cp$(hadoop类路径)maptest.java


在大多数情况下,下载的hadoop中已经存在这些文件。有关更多信息,请查看。

javac-cp/usr/hdp/2.6.2.0-205/hadoop-mapreduce/:/usr/hdp/2.6.2.0-205/hadoop/:。MyTest.java


在CloudxLab中为我工作。

尝试从下载hadoop发行版,并检查其lib folder。在这个线程中,jar文件的使用有答案:我指的是“ApacheHadoop 2.7.1”中的本教程,它的“classpath”代替了classath