我们如何在hadoop生态系统之上构建多租户?

我们如何在hadoop生态系统之上构建多租户?,hadoop,hive,multi-tenant,Hadoop,Hive,Multi Tenant,我们正试图在hadoop生态系统之上构建多租户 我们的生态系统通常由hadoop组件组成,如hdfs、纱线、蜂巢、oozie和zookeeper 到目前为止,我一直在研究这样的概念 它通过为每个联合的HDFS分区提供一个单独的名称节点来联合您的分布式存储(HDFS) 问题:假设一个集群有2个租户,因此2个namenodes、2个namenodes将意味着2个hive服务器、2个oozie服务器和类似的其他每个hadoop组件中的2个,它们将与其各自的namenode通信并写入各自的HDFS分区

我们正试图在hadoop生态系统之上构建多租户

我们的生态系统通常由hadoop组件组成,如hdfs、纱线、蜂巢、oozie和zookeeper

到目前为止,我一直在研究这样的概念

  • 它通过为每个联合的HDFS分区提供一个单独的名称节点来联合您的分布式存储(HDFS)

    问题:假设一个集群有2个租户,因此2个namenodes、2个namenodes将意味着2个hive服务器、2个oozie服务器和类似的其他每个hadoop组件中的2个,它们将与其各自的namenode通信并写入各自的HDFS分区

  • 可以为每个租户强制执行计算配额。(例如租户1-50%和租户2-50%)

  • 我找不到如何为hadoop集群开发类似的多租户环境

    我想做的是每个租户(及其用户)都有一个

  • 计算配额(通过容量调度器)
  • HDFS中每个租户的HDFS目录(如/usr/tenant1、/usr/tenant2)
  • 属于tenant1组的所有用户都有权写入hdfs目录(/usr/tenant1/username)

    我面临的问题是。。 假设我作为租户1用户从配置单元创建一个表,它创建了表/apps/hive/warehouse/apps/oozie/data。我的想法是,它将在用户的hdfs主目录中创建表,因此只有租户1用户可以访问它。但它没有发生


    我可以得到一些帮助吗?我应该如何继续开发,在Hadoop生态系统上创建多租户?

    您可以在某种程度上使用多个名称空间来实现,以满足您的需求

    我想请您看看Apache博客上的名称空间

    可以在namenode中实现多个名称空间

    问候 安德鲁