Fatal编程技术网
  • apache-spark/
  • Apache spark 我们是否需要安装所有HDP'；所有节点中的服务客户端？

Apache spark 我们是否需要安装所有HDP'；所有节点中的服务客户端？

apache-spark hive

Apache spark 我们是否需要安装所有HDP'；所有节点中的服务客户端？,apache-spark,hive,yarn,hortonworks-data-platform,ambari,Apache Spark,Hive,Yarn,Hortonworks Data Platform,Ambari,我们希望在生产环境中部署HDP3.1.5 我们有3台服务器用于masternode，6台服务器用于workernode 我们在上面的9个节点上规划了组件布局，但我们希望确保需要将服务客户端放置在下面的位置 纱线客户 首先，我们计划将其安装到9个节点上，可以吗，还是只安装到3个主节点上？因为据我们所知，所有节点都需要纱线，包括资源管理器和节点管理器 还是仅仅是为了发布应用程序或其他什么 mapreduce2客户端 与上面一样，我们计划将其安装到9个节点，因为mapreduce作业需要它 我们需要跨

我们希望在生产环境中部署HDP3.1.5 我们有3台服务器用于masternode，6台服务器用于workernode 我们在上面的9个节点上规划了组件布局，但我们希望确保需要将服务客户端放置在下面的位置

  • 纱线客户
    • 首先，我们计划将其安装到9个节点上，可以吗，还是只安装到3个主节点上？因为据我们所知，所有节点都需要纱线，包括资源管理器和节点管理器

    还是仅仅是为了发布应用程序或其他什么

  • mapreduce2客户端
    • 与上面一样，我们计划将其安装到9个节点，因为mapreduce作业需要它 我们需要跨9个节点安装吗

  • 蜂巢客户端
    • 我们计划将其安装到3个主节点，还是只需要将其安装到一个主节点？ 是否只需要从beeline（cli）提交配置单元应用程序

  • infra solr客户端
    • 我们只是计划将其安装到9个节点上，但我们不知道该客户端是如何工作的

  • kerberos客户端
    • 是否所有节点都需要kerberos客户端，因为当我们在开发环境中部署时，它会自动安装在所有节点上

  • oozie客户
    • 与infra solr客户端点相同，9个节点（平面图）

  • 猪客户
    • 我们计划只在3个主节点上安装它，它与通过cli运行pig或提交pig应用程序有关吗

  • spark2客户端
    • 我们计划将其安装到主节点，因为我们只想将其限制在只有一台服务器可以提交spark应用程序的位置

    但在开发环境中，它安装在所有节点上，如何卸载工作节点中的spark2客户端

  • sqoop客户端
    • 与编号9相同的点，仅适用于主节点

  • Tez客户
    • 我们计划将其安装到9个节点，但我们没有任何关于该客户端如何工作的信息

    任何服务的客户端都只是一些库/二进制文件，它们允许您从安装服务的节点连接/访问服务

    您当然可以限制要在哪些节点上安装客户端

    一些客户端必须安装在所有节点上，例如
    kerberos客户端

    客户端不会占用太多的磁盘空间，但是客户端越多，启动该服务所需的时间就越多

    无论何时启动或重新启动服务，默认情况下，ambari都会检查是否安装了客户端。（没有办法绕过这个。）

    现在，我们来看一下您的场景：-

  • 纱线客户端：不需要在主主机上安装，但最好在所有节点上安装

  • mapreduce2客户端：不需要在主主机上安装，但最好在所有节点上安装

  • 配置单元客户端：是的，只需要通过命令行运行直线和配置单元查询。您可以选择要在哪些主机上安装它

  • infra solr客户端：将其安装在2或3上就足够了，因为需要客户端访问服务。除非你广泛使用infra solr

  • kerberos客户端：需要位于所有节点上，否则将出现kerberos问题

  • oozie客户端：将其安装在2或3上就足够了

  • Pig客户端：它与两者都相关

  • spark2客户端

    curl-u admin:admin-H“X-request-By:ambari”-X删除http://AMBARI_SERVER_HOST:8080/api/v1/clusters/CLUSTERNAME/hosts/HOSTNAME/host_components/Client_name

  • sqoop客户端：将其安装在2或3上就足够了

  • Tez客户端：将其安装在2或3上就足够了

    • 请记住，您可以用任何方式安装它

    我建议选择3-4个节点，并在需要的主机上安装所有客户端。

    任何服务的客户端都只是一些库/二进制文件，允许您从安装服务的节点连接/访问服务

    您当然可以限制要在哪些节点上安装客户端

    一些客户端必须安装在所有节点上，例如
    kerberos客户端

    客户端不会占用太多的磁盘空间，但是客户端越多，启动该服务所需的时间就越多

    无论何时启动或重新启动服务，默认情况下，ambari都会检查是否安装了客户端。（没有办法绕过这个。）

    现在，我们来看一下您的场景：-

  • 纱线客户端：不需要在主主机上安装，但最好在所有节点上安装

  • mapreduce2客户端：不需要在主主机上安装，但最好在所有节点上安装

  • 配置单元客户端：是的，只需要通过命令行运行直线和配置单元查询。您可以选择要在哪些主机上安装它

  • infra solr客户端：将其安装在2或3上就足够了，因为需要客户端访问服务。除非你广泛使用infra solr

  • kerberos客户端：需要位于所有节点上，否则将出现kerberos问题

  • oozie客户端：将其安装在2或3上就足够了

  • Pig客户端：它与两者都相关

  • spark2客户端

    curl-u admin:admin-H“X-request-By:ambari”-X删除http://AMBARI_SERVER_HOST:8080/api/v1/clusters/CLUSTERNAME/hosts/HOSTNAME/host_components/Client_name

  • sqoop客户端：将其安装在2或3上就足够了

  • Tez客户