Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/402.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java hadoop 2.4.1中的Dfs和Mapreduce_Java_Xml_Hadoop_Mapreduce_Port - Fatal编程技术网

Java hadoop 2.4.1中的Dfs和Mapreduce

Java hadoop 2.4.1中的Dfs和Mapreduce,java,xml,hadoop,mapreduce,port,Java,Xml,Hadoop,Mapreduce,Port,我正在使用Hadoop2.4.1,当我尝试在Hadoop2.4.1中使用dfs时,一切都正常。我总是使用start-dfs.sh脚本启动,以便在系统中启动并运行以下服务 datanode、namenode和secondary namenode-这很好 昨天,我尝试在etc/hadoop/mapred.xml中配置mapred.xml,如下所示 **conf/mapred-site.xml:** <configuration> <property> <n

我正在使用Hadoop2.4.1,当我尝试在Hadoop2.4.1中使用dfs时,一切都正常。我总是使用start-dfs.sh脚本启动,以便在系统中启动并运行以下服务 datanode、namenode和secondary namenode-这很好

昨天,我尝试在etc/hadoop/mapred.xml中配置mapred.xml,如下所示

**conf/mapred-site.xml:**

<configuration>
 <property>
     <name>mapred.job.tracker</name>
     <value>localhost:9001</value>
 </property>
</configuration>
当我给jps时,只有以下服务在运行

1. secondarynamenode
2. namenode
3. datanode
4. nodemanager
5. resourcemanager
我在那里找不到作业跟踪器,而且mapreduce日志也不可用,就是我们需要在haddop 2.4.1中为mapreduce指定一些内容

其他信息,我检查了50030-job tracker的网络控制台端口,该端口不可用

1. hadoop-datanode.log + out
2. hadoop-namenode.log + out
3. hadoop-secondarynamenode.log + out
4. yarn-nodemanager.log + out
5. yarn-resourcemanager.log + out
我的端口检查为9001,没有运行任何程序


接受任何帮助,从Hadoop 2.0开始,mapreduce默认处理框架已从经典mapreduce更改为YARN。当您使用
start all.sh
启动hadoop时,它会在内部调用
start warn.sh
start dfs.sh

如果您想使用mapreduce而不是yarn,则应使用start-dfs.sh和start-mapred.sh分别启动dfs和mapreduce服务(mapreduce1二进制文件位于目录
${HADOOP\u HOME}/bin-mapreduce1
中,所有配置文件都位于目录
${HADOOP\u HOME}/etc/HADOOP-mapreduce1
下)


所有纱线和HDFS启动脚本都位于hadoop主页中的sbin目录中,在那里找不到start-mapred.sh脚本。start-mapred.sh脚本位于bin-mapreduce1目录中

太好了,你能告诉我启动mapreduce的完整过程吗${HADOOP_HOME}/bin-mapreduce1->我不理解这个上下文。。。请给我解释一下步骤…h4ck3r,请回到这里你在使用tarball安装吗?。如果是,环境变量HADOOP_HDFS_HOME的值是多少?它的文件路径类似于HADOOP-2.4.1/etc/HADOOP,在这个路径中可以使用HDFS-site.xml、mapred-site.xml和其他xml,然后同意,这是配置目录的位置。start-mapred.sh的路径是hadoop-2.4.1/bin-mapreduce1/start-mapred.sh