Hadoop 什么'；当在HDFS中遇到大量文件时，实际理想的NameNode内存大小是多少

我的HDFS集群中将有2亿个文件，我们知道每个文件将在NameNode内存中占用150字节，加上3个块，因此NN中总共有600字节。 所以我将我的NN内存设置为250GB，以很好地处理2亿个文件。我的问题是250GB这么大的内存大小，会不会对GC造成太大的压力？为NN创建250GB内存是否可行

Can someone just say something, why no body answer??

---

您的namenode中可以有256 GB的物理内存。如果您的数据量巨大，请考虑HDFS联邦。我假设名称节点主机中已经有多个核（有或没有超线程）。猜下面的链接解决了您的GC问题：

---

理想的名称节点内存大小是指元数据使用的总空间+操作系统+守护进程大小，以及处理相关数据所用的20-30%空间

<>你也应该考虑数据进入集群的速率。如果你的数据在1TB/天出现，那么你必须考虑更大的内存驱动，否则很快内存就会耗尽。 它总是建议在任何时候至少有20%的内存可用。这将有助于避免名称节点进入完整的垃圾收集。 正如Marco之前指定的，您可以参考GC配置

在您的情况下，如果您不打算获取大量数据，也不打算对现有数据执行大量操作，那么256看起来不错

参考：

---

另请参阅：

可能是因为微调配置没有正确答案，需要对集群进行深入分析，而且您的问题似乎是关于GC的，而不是问题的实际标题所暗示的内容，这是误导性的