Java hadoop mapreduce的JAR
我跟随阿帕奇给出的。 此处给出的Java代码使用以下Apache hadoop类:Java hadoop mapreduce的JAR,java,hadoop,jar,mapreduce,Java,Hadoop,Jar,Mapreduce,我跟随阿帕奇给出的。 此处给出的Java代码使用以下Apache hadoop类: import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apa
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
但是我不知道从哪里下载这些JAR。在互联网上搜索这些课程,我可以看到它们是可用的
但是,这些和JAR的正式/可信Apache存储库是什么
如果JAR与hadoop一起提供,请告诉我路径
编辑:其他问题没有给出明确的说明。
我发现答案如下
提到:
下载Hadoop-core-1.2.1.jar,它用于编译和执行MapReduce程序。访问以下链接下载jar
所以这看起来是真实的存储库 下面的教程使用Hadoop 1.0。这意味着你拥有的罐子和教程使用的罐子是不同的。如果您使用的是Hadoop2.X,请遵循使用该版本的教程。您不需要从第三方下载JAR,只需要知道特定hadoop版本的API的正确使用 我使用NetBeans创建了一个新的Maven项目 然后在项目文件下,我打开pom.xml 我加进去
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-core</artifactId>
<version>0.20.2</version>
</dependency>
org.apache.hadoop
hadoop内核
0.20.2
使用依赖项构建之后,我现在可以开始编写代码了。提到:
下载Hadoop-core-1.2.1.jar,它用于编译和执行MapReduce程序。访问以下链接下载jar
因此,在当前版本2.7.1中,您可以找到不同版本的所有jar,我在缺少artifact org.apache.hadoop:hadoop-mapreduce:jar:2.7.1时跌跌撞撞地发现,这个jar似乎被拆分为多个较小的jar
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.7.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-common</artifactId>
<version>2.7.1</version>
</dependency>
org.apache.hadoop
)如果出现此类错误,只需在终端上键入命令:
导出HADOOP_HOME=$(HADOOP类路径)
注意:您必须在./bashrc文件中检查您自己的hadoop配置名称。
在hadoop安装时,我们在.bashrc文件中设置hadoop和java路径。
我们必须在这里查看最好的方法是下载Hadoop(3.x.y),并从Hadoop-3.x.y/share/Hadoop/mapreduce
1.hadoop-common-3.x.y.jar
2.hadoop-mapreduce-client-core-3.x.y.jar
这对我有用 尝试使用编译:
javac-cp$(hadoop类路径)maptest.java
在大多数情况下,下载的hadoop中已经存在这些文件。有关更多信息,请查看。javac-cp/usr/hdp/2.6.2.0-205/hadoop-mapreduce/:/usr/hdp/2.6.2.0-205/hadoop/:。MyTest.java
在CloudxLab中为我工作。尝试从下载hadoop发行版,并检查其lib folder。在这个线程中,jar文件的使用有答案:我指的是“ApacheHadoop 2.7.1”中的本教程,它的“classpath”代替了classath