Spring batch spring批处理远程分区远程步骤性能

Spring batch spring批处理远程分区远程步骤性能,spring-batch,Spring Batch,我们在POC中使用远程分区,处理大约2000万条记录。要处理这些记录,从属服务器需要一些大约5000行的静态元数据。我们当前的POC使用EhCache从数据库一次在从属服务器中加载元数据,并将其放入缓存中,这样子用户调用就可以从缓存中获取此数据,从而获得更好的性能 现在由于我们使用远程分区,我们的从机大约有20个MDP/线程,因此每个消息侦听器首先调用以从数据库获取元数据,因此基本上每个远程机器上有20个线程同时访问数据库。我们现在有2台机器,但会增加到4台 我的问题是,有没有更好的方法可以像作

我们在POC中使用远程分区,处理大约2000万条记录。要处理这些记录,从属服务器需要一些大约5000行的静态元数据。我们当前的POC使用EhCache从数据库一次在从属服务器中加载元数据,并将其放入缓存中,这样子用户调用就可以从缓存中获取此数据,从而获得更好的性能

现在由于我们使用远程分区,我们的从机大约有20个MDP/线程,因此每个消息侦听器首先调用以从数据库获取元数据,因此基本上每个远程机器上有20个线程同时访问数据库。我们现在有2台机器,但会增加到4台

我的问题是,有没有更好的方法可以像作业开始前那样只加载一次元数据,并让所有远程从属服务器都可以访问

或者我们可以在远程stap中使用step侦听器吗?我不这么认为,这是一个好主意,因为它将针对每个远程步骤执行,但需要专家对此进行思考。

您可以将运行设置为单独的应用程序,或者使用另一种产品进行缓存。如果您可以选择商业产品,也可以使用。

您可以将运行设置为单独的应用程序,或者使用其他产品进行缓存,如。如果商业产品是你的一个选择,可能也会工作