优化数据流池大小以提高ignite性能

优化数据流池大小以提高ignite性能,ignite,gridgain,Ignite,Gridgain,我正在使用Ignite 2.6,其中数据流节点使用来自kafka的数据并将其放入Ignite缓存。服务器平均负载较高,吞吐量降低 我已经尝试为缓存中定义的索引提供索引内联大小,这提供了良好的性能,但也提高了服务器内存利用率和高平均负载。请告知在这种情况下,增加datastreamer线程池大小将如何影响。在优化数据流性能时,您需要了解瓶颈在哪里。它可能位于数据节点或流节点上。服务器插入数据的速度可能较慢,或者拖缆的负载可能太小。 CPU、内存、网络和磁盘资源可以在任何一方耗尽。因此,在尝试优化配

我正在使用Ignite 2.6,其中数据流节点使用来自kafka的数据并将其放入Ignite缓存。服务器平均负载较高,吞吐量降低


我已经尝试为缓存中定义的索引提供索引内联大小,这提供了良好的性能,但也提高了服务器内存利用率和高平均负载。请告知在这种情况下,增加datastreamer线程池大小将如何影响。

在优化数据流性能时,您需要了解瓶颈在哪里。它可能位于数据节点或流节点上。服务器插入数据的速度可能较慢,或者拖缆的负载可能太小。 CPU、内存、网络和磁盘资源可以在任何一方耗尽。因此,在尝试优化配置参数之前,请尝试寻找导致速度缓慢的原因。使用JFR、JProfiler、VisualVM或类似的工具可能会对您有所帮助

如果瓶颈在流端,那么在大多数情况下,从多个线程调用单个数据流会提高服务器的利用率


如果在服务器端发现问题,则可能需要增加服务器数量或尝试优化插入时间。

您的配置是什么?有多少节点?缓存数量、行大小?JVM设置?数据流线程池大小似乎不太可能是问题所在,但如果没有更多信息,很难说。