Amazon ec2 AWS EFS是否可以从多个Hadoop集群访问

我可以理解EFS可以装载到多个EC2实例

可以从多个Hadoop集群连接到AWS EFS吗

或者它连接到特定的集群

---

我们可以使用API连接到Hadoop集群之外的EFS吗？

您正在为Hadoop集群使用Cloudera发行版，因此您可以根据需要进行配置

相比之下，亚马逊EMR（AWS管理的Hadoop服务）的用户通常从两种类型的存储中进行选择：

• 实例存储：这是直接连接的磁盘存储，因此速度非常快。某些实例类型（如m3、d2）提供了大的磁盘存储空间，这对于HDF来说是非常好的。其他实例类型提供非常快速的SSD存储，但通常较小。请注意，当EMR群集终止时，实例存储的内容将丢失
• EBS卷：这些是网络连接磁盘，提供更大的存储空间（每个卷最多16 TB）。同样，当EMR集群终止时，内容丢失。EBS卷和实例存储也可以一起使用

对于EMR（同样，不是您的情况），用户将输入和输出数据作为持久数据存储保存在AmazonS3中。这样，当集群终止时，数据不会丢失。这样做的好处是，集群在不使用时可以关闭（因此可以节省资金），而在需要更多处理能力时，可以启动额外的集群。这在传统的内部部署设置中是不可能的，因为在这种设置中，集群是永久保持打开的，并且不能放大或缩小

那么，回到您的Cloudera群集。。。您可能将使用HDFS进行存储，在这种情况下，您需要附加磁盘存储。您还可以选择使用S3存储数据，这比磁盘存储更便宜

是的，您可以通过NTFS连接Amazon EFS卷，但EFS通常用于在EC2实例之间共享磁盘，这不是HDFS的操作方式（它假设本地连接的磁盘在节点管理器级别进行分布式共享）

---

我建议您调查是否可以使用AmazonEMR而不是部署自己的Hadoop集群，因为它具有可扩展性、临时集群、自动部署和定期升级的优点。如果您必须使用Cloudera，您将自己负责管理和维护集群。

您所说的“集群”和“集群外”是什么意思？什么集群？@JohnRotenstein：我指的是像Cloudera、HortonWorks等任何分布！你说的是Hadoop集群。你的问题没有提到这一点。我认为将AmazonEFS与Hadoop集群一起使用是不明智的，因为每个集群都管理自己的HDFS，如果多个集群试图管理一个HDFS存储，事情可能会变得混乱。你希望实现什么？@JohnRotenstein：我们打算为我们的Hadoop集群选择文件系统，比如S3或HDFS（EBS，localstorage）或EFS？我们正在使用Cloudera。@JohnRotenstein：我希望即使我使用EFS，Hadoop集群也能在上面创建HDF。。