hadoop日志没有完整的信息

hadoop日志没有完整的信息,hadoop,hdfs,Hadoop,Hdfs,我使用的是hadoop apache 2.7.1集群,它由4个数据节点和两个名称节点组成,因为它具有高可用性 部署在centos 7上 2017年8月1日开始工作 我们知道,将为每个服务生成日志 让我们以当前日志为例 hadoop-root-datanode-dn1.log hadoop-root-datanode-dn2.log 其中hadoop_root是iam登录的用户 我的问题是: 在dn1日志中,我可以找到从2017年8月1日到今天的信息 但在dn2日志中并没有所有完整的信息,因

我使用的是hadoop apache 2.7.1集群,它由4个数据节点和两个名称节点组成,因为它具有高可用性

部署在centos 7上 2017年8月1日开始工作

我们知道,将为每个服务生成日志

让我们以当前日志为例

hadoop-root-datanode-dn1.log 
hadoop-root-datanode-dn2.log 
其中hadoop_root是iam登录的用户

我的问题是: 在dn1日志中,我可以找到从2017年8月1日到今天的信息 但在dn2日志中并没有所有完整的信息,因为它每天都被清空,所以它只有与今天相关的信息

是否有任何属性来控制此行为,或者这是centos的问题 需要帮忙吗

默认情况下,.log文件每天按log4j进行旋转。这可以通过/etc/hadoop/conf/log4j.properties配置

这并不是说您正在运行Cloudera群集,但如果您运行了,这些文件不会被删除。它们被卷起并重新命名


哦,我建议不要以root身份运行守护程序。大多数hadoop安装指南都明确要求您创建hdfs或hadoop用户

是的,我在conf目录下的log4j.properties中编辑了hadoop.log.maxfilesize属性