Java Hazelcast endup堆空间内存不足错误，即使已分配8GB空间_Java_Hazelcast

Java Hazelcast endup堆空间内存不足错误，即使已分配8GB空间

java hazelcast

Java Hazelcast endup堆空间内存不足错误，即使已分配8GB空间,java,hazelcast,Java,Hazelcast,在我的项目中，我有一个要求，将900万数据从oracle数据库缓存到Hazelcast，但显然Hazelcast消耗的堆空间比预期的要多。我已经为应用程序分配了8bg heapspace，但仍然出现内存不足错误下面是我的数据加载器类 public class CustomerProfileLoader implements ApplicationContextAware, MapLoader<Long, CustomerProfile> { private static Cus

在我的项目中，我有一个要求，将900万数据从oracle数据库缓存到Hazelcast，但显然Hazelcast消耗的堆空间比预期的要多。我已经为应用程序分配了8bg heapspace，但仍然出现内存不足错误

下面是我的数据加载器类

public class CustomerProfileLoader  implements ApplicationContextAware, MapLoader<Long, CustomerProfile> {

private static CustomerProfileRepository customerProfileRepository;

    @Override
    public CustomerProfile load(Long key) {
        log.info("load({})", key);
        return customerProfileRepository.findById(key).get();
    }

    @Override
    public Map<Long, CustomerProfile> loadAll(Collection<Long> keys) {
        log.info("load all in loader executed");
        Map<Long, CustomerProfile> result = new HashMap<>();
        for (Long key : keys) {
            CustomerProfile customerProfile = this.load(key);
            if (customerProfile != null) {
                result.put(key, customerProfile);
            }
        }
        return result;
    }

   @Override
    public Iterable<Long> loadAllKeys() {

        log.info("Find all keys in loader executed");

        return customerProfileRepository.findAllId();
    }

    @Override
    public void setApplicationContext(ApplicationContext applicationContext) throws BeansException {
        customerProfileRepository = applicationContext.getBean(CustomerProfileRepository.class);
    }
}

数据库表结构：

其他要点：

我现在只有一个hazelcast服务器实例在运行，其中将heapspace分配为8GB JAVA_OPTS=-Xmx8192m。在4gb之前但当我得到heapspace错误时，我增加到8GB，但运气不好。目前，maploader是在访问第一次。特定的表customer_profile中有6列它没有任何二进制类型。它只有基本的价值观，比如姓姓有点像。使用的hazelcast版本为3.8 我现在面临的问题是：

我得到了heapspace errorjava.lang.OutOfMemoryError:Java堆空间，当它获取所有数据并将其加载到映射时。现在表中有900万个数据

此外，加载数据需要花费大量的时间，也许我可以通过运行多个hazelcast服务器实例来解决这个问题

我是hazelcast的新手，因此非常感谢您的帮助：

我觉得真正的问题是8GB堆中的数据太多了

您说每行平均有100字节的数据，表示为字符串数据

以下是将9000000行数据表示为HashMap所需空间的一些估计值1。假设有9个字符串、2个日期和一个int

在64位JVM中，字符串的开销为每个字符48字节+2字节。因此，9个Java字符串表示大约100字节的字符数据，大约相当于650字节。日期是32字节x2->64字节表示9个字符串、2个日期和1个整数的记录将为112字节。一个键表示一个整数是24字节。 HashMap条目将为40字节。 650+64+112+24+40 x 9000000->~800000000字节 HashMap的主数组将为2^24 x 8字节==~128000000字节正如您所能看到的那样，实际数据超过8GB。然后考虑Java堆需要相当多的工作空间这一事实；至少30%

这一点都不奇怪，你得到的是OOMEs。我估计你的堆需要大50%。。。这假设您对每行100字节的估计是准确的

这完全基于loadAll方法，该方法似乎将数据库中的所有行具体化为常规HashMap。它不考虑Hazelcast用于缓存的堆空间或其他内存

虽然您可以只扩展堆，但我认为更改代码使其不会像那样具体化行更有意义。目前尚不清楚这是否有意义。这将取决于地图的使用方式

1-我假设您使用的是Java 8。