单个hadoop集群中的多个环境

是否可以在单个hadoop集群中设置多个环境（prod、pre-prod、dev等）？其想法是拥有一个集群，每个环境都有单独的分区，并将对这些目录的访问限制为仅限必需的用户（取决于环境）。此外，为了限制作业提交，请启用与队列的资源池

---

这是可行的选择吗？此设置可能存在哪些问题？

原则上是可能的。至少，您需要引入Kerberos安全性来控制对集群资源的访问。还可以考虑使用游侠或哨兵来管理访问角色，因为否则所有服务的访问管理几乎是不可能的。请注意，所有这些工具仍有一些粗糙的边缘。

“粗糙边缘”是一种轻描淡写的说法；Kerberos是一场噩梦，它已经以至少5种不同的方式实现（或解决）了，例如HDFS/Thread、HBase、WebHDFS、GUI、Oozie……出于好奇，您为什么说Kerberos是强制性的，而不是只对每个环境使用不同的“用户”集，并为HDFS、Thread队列等设置ACL（您无论如何都必须这么做）？因为没有Kerberos，您就没有任何安全性。任何人都可以假装成他们想要模仿的任何用户。是的，但是如果“NP1987”想要为Prod和Dev提供一个集群，你真的认为他/她关心安全吗？@SamsonScharfrichter现在这是另一个应该在本论坛之外提出的问题。这正从Hadoop安全性转向更广泛的体系结构考虑。