Performance Apache Nifi慢速群集问题

Performance Apache Nifi慢速群集问题,performance,apache-nifi,sizing,Performance,Apache Nifi,Sizing,我正在为我的一个clickstream项目使用ApacheNIFI来进行一些ETL 目前,我通过以下infra获得每秒300条左右的流量: RAM-16GB 交换-6 GB CPU-16核 磁盘-100GB(不需要持久性) 群集-6个节点 由于以下问题,整个集群UI变得非常缓慢 处理器在发生某些故障时返回压力,这会消耗大量线程 出处书写变得非常缓慢 节点间的心跳变慢 关于设置,我有以下问题 是否建议使用RPG,因为它是一个HTTP调用,我使用它来传播 在所有节点上,因为EMQTT存在

我正在为我的一个clickstream项目使用ApacheNIFI来进行一些ETL

目前,我通过以下infra获得每秒300条左右的流量:

  • RAM-16GB
  • 交换-6 GB
  • CPU-16核
  • 磁盘-100GB(不需要持久性)
  • 群集-6个节点
由于以下问题,整个集群UI变得非常缓慢

  • 处理器在发生某些故障时返回压力,这会消耗大量线程
  • 出处书写变得非常缓慢
  • 节点间的心跳变慢
关于设置,我有以下问题

  • 是否建议使用RPG,因为它是一个HTTP调用,我使用它来传播 在所有节点上,因为EMQTT存在问题 消费者群体的流程
  • 应该分配的线程数的建议值是多少 每芯
  • 基础设施规模调整的指导原则是什么
  • 对于具有大量传入请求和大量用于转换的JSON解析的大型集群,优化参数是什么

    • 一些建议

      • 是的,建议使用RPG,至少从我的经验来看,RPG似乎提供了更好的分发。请看下面的[3]
      • 有些处理器是CPU密集型的,而其他处理器则是CPU密集型的,因此对于并发任务的
        值设置没有明确的答案。这更多的是您必须掌握的试错或测试和微调方法。一个建议是,如果为CPU密集型处理器设置太多的
        并发任务
        ,将对节点造成严重影响
      • Hortonworks对此做了详细的指导。我已经提供了下面的链接。[1]
      一些最佳实践和便捷指南:


      您为NiFi配置的堆大小是多少?