Hadoop hdfs+;名称节点+;编辑文件随着大文件的增加而增加,以及如何限制编辑文件的大小
我们的HDP集群有7台datanodes机器 在Hadoop hdfs+;名称节点+;编辑文件随着大文件的增加而增加,以及如何限制编辑文件的大小,hadoop,hdfs,ambari,hdp,namenode,Hadoop,Hdfs,Ambari,Hdp,Namenode,我们的HDP集群有7台datanodes机器 在/hadoop/hdfs/namenode/current/ 我们可以看到更多的1500编辑文件 每个文件大约为7M到20M,如下所示 7.8M /hadoop/hdfs/namenode/current/edits_0000000002331008695-0000000002331071883 7.0M /hadoop/hdfs/namenode/current/edits_0000000002331071884-0000000002
/hadoop/hdfs/namenode/current/
我们可以看到更多的1500
编辑文件
每个文件大约为7M
到20M
,如下所示
7.8M /hadoop/hdfs/namenode/current/edits_0000000002331008695-0000000002331071883
7.0M /hadoop/hdfs/namenode/current/edits_0000000002331071884-0000000002331128452
7.8M /hadoop/hdfs/namenode/current/edits_0000000002331128453-0000000002331189702
7.1M /hadoop/hdfs/namenode/current/edits_0000000002331189703-0000000002331246584
11M /hadoop/hdfs/namenode/current/edits_0000000002331246585-0000000002331323246
8.0M /hadoop/hdfs/namenode/current/edits_0000000002331323247-0000000002331385595
7.7M /hadoop/hdfs/namenode/current/edits_0000000002331385596-0000000002331445237
7.9M /hadoop/hdfs/namenode/current/edits_0000000002331445238-0000000002331506718
9.1M /hadoop/hdfs/namenode/current/edits_0000000002331506719-0000000002331573154
9.0M /hadoop/hdfs/namenode/current/edits_0000000002331573155-0000000002331638086
7.8M /hadoop/hdfs/namenode/current/edits_0000000002331638087-0000000002331697435
7.8M /hadoop/hdfs/namenode/current/edits_0000000002331697436-0000000002331755881
8.0M /hadoop/hdfs/namenode/current/edits_0000000002331755882-0000000002331814933
9.8M /hadoop/hdfs/namenode/current/edits_0000000002331814934-0000000002331884369
11M /hadoop/hdfs/namenode/current/edits_0000000002331884370-0000000002331955341
8.7M /hadoop/hdfs/namenode/current/edits_0000000002331955342-0000000002332019335
7.8M /hadoop/hdfs/namenode/current/edits_0000000002332019336-0000000002332074498
是否可以通过一些HDFS
配置来最小化文件大小?(或最小化编辑文件编号)
因为我们有小型磁盘,现在磁盘100%
/dev/sdb 100G 100G 0 100% /hadoop/hdfs
您可以配置dfs.namenode.num.checkpoints.retained和
dfs.namenode.num.extra.edits.retained
控制大小的属性
保存NameNode编辑目录的目录的
:图像检查点的数量 保留在存储目录中的文件。所有编辑日志 从最旧的保留名称空间恢复最新名称空间所必需的 检查点也被保留dfs.namenode.num.checkpoints.retained
:应保留的超出最低限度的额外事务数 重新启动NameNode所必需的。这对审计很有用 目的,或用于可能已安装远程备用节点的HA设置 离线一段时间,需要更长的保留编辑积压 为了重新开始dfs.namenode.num.extra.edits.retained
参考资料:最小值是多少?实际上我不知道,但试着将其设置为例如50GB。这可能对你有帮助