Hadoop 为什么cloudera 5.12虚拟机中的默认复制因子是1，而在以前的版本中是3？

如果默认复制因子从3更改为1，那么我们是否没有失去hdfs的可靠性？如果某个块由于某种原因崩溃或删除，hadoop工程师如何检索该块的唯一副本？

它在虚拟机中可能是1，因为它只有一个datanode进程。如果在VM上设置为3，则您创建的任何文件都将处于复制状态，HDFS将无法修复它们

---

在具有多个数据节点的实际集群上，默认值应为3。

关于您的问题

为什么Cloudera 5.12 VM中的默认复制因子为1 在以前的版本中，3在哪里

我查阅了有关的文档，发现

HDFS的默认复制因子为3。也就是说，始终保留三份数据副本

因此，对于一般的Cloudera软件发行版来说，情况似乎并非如此，但对于您来说，可能是特定的情况

如果默认复制因子从3更改为1，那么我们是否没有失去HDFS的可靠性

你的回答是正确的

如果由于某种原因导致块崩溃或删除，Hadoop工程师如何检索块的唯一副本

这也是不可能的

如前所述

---

它在虚拟机中可能是1，因为它只有一个数据节点进程

在单个虚拟（演示？）环境中，可能不需要多个节点或资源，也不需要高可用性等

如果在VM上设置为3，则您创建的任何文件都将处于复制状态，HDFS将无法修复它们

---

对于单个VM中的单节点集群来说，这可能可以节省资源。

谢谢@Stephen ODonnell。甚至我也有同样的想法，只是想澄清一下。在cloudera VM 4.7版本中，默认复制因子是3，而在5.12版本中，默认复制因子是1，所以我只是对cloudera团队是否为了VM而改变了这一点感到困惑，或者它是否在任何地方都从3变为1。不管怎样，现在我的疑问已经澄清了。非常感谢。