Performance Apache Nifi慢速群集问题
我正在为我的一个clickstream项目使用ApacheNIFI来进行一些ETL 目前,我通过以下infra获得每秒300条左右的流量:Performance Apache Nifi慢速群集问题,performance,apache-nifi,sizing,Performance,Apache Nifi,Sizing,我正在为我的一个clickstream项目使用ApacheNIFI来进行一些ETL 目前,我通过以下infra获得每秒300条左右的流量: RAM-16GB 交换-6 GB CPU-16核 磁盘-100GB(不需要持久性) 群集-6个节点 由于以下问题,整个集群UI变得非常缓慢 处理器在发生某些故障时返回压力,这会消耗大量线程 出处书写变得非常缓慢 节点间的心跳变慢 关于设置,我有以下问题 是否建议使用RPG,因为它是一个HTTP调用,我使用它来传播 在所有节点上,因为EMQTT存在
- RAM-16GB
- 交换-6 GB
- CPU-16核
- 磁盘-100GB(不需要持久性)
- 群集-6个节点
- 处理器在发生某些故障时返回压力,这会消耗大量线程
- 出处书写变得非常缓慢
- 节点间的心跳变慢
- 是否建议使用RPG,因为它是一个HTTP调用,我使用它来传播 在所有节点上,因为EMQTT存在问题 消费者群体的流程
- 应该分配的线程数的建议值是多少 每芯
- 基础设施规模调整的指导原则是什么
- 对于具有大量传入请求和大量用于转换的JSON解析的大型集群,优化参数是什么
- 是的,建议使用RPG,至少从我的经验来看,RPG似乎提供了更好的分发。请看下面的[3]
- 有些处理器是CPU密集型的,而其他处理器则是CPU密集型的,因此对于并发任务的
值设置没有明确的答案。这更多的是您必须掌握的试错或测试和微调方法。一个建议是,如果为CPU密集型处理器设置太多的
,将对节点造成严重影响并发任务
- Hortonworks对此做了详细的指导。我已经提供了下面的链接。[1]
- 一些建议