Apache spark 在启用spark的DSE中,可以为Cassandra分配多少内存?

Apache spark 在启用spark的DSE中,可以为Cassandra分配多少内存?,apache-spark,cassandra,datastax,datastax-enterprise,Apache Spark,Cassandra,Datastax,Datastax Enterprise,目前,我的DSE Cassandra耗尽了所有内存。因此,经过一段时间和不断增加的数据量,整个系统崩溃。但是spark和ops中心以及代理等也需要几个G内存。我现在只尝试将一半内存分配给cassandra,但不确定这是否可行 这是我的错误消息: kernel: Out of memory: Kill process 31290 (java) score 293 or sacrifice child 默认情况下,DSE将执行器内存设置为(总Ram)*(.7)-C*使用的Ram。对于大多数系统来

目前,我的DSE Cassandra耗尽了所有内存。因此,经过一段时间和不断增加的数据量,整个系统崩溃。但是spark和ops中心以及代理等也需要几个G内存。我现在只尝试将一半内存分配给cassandra,但不确定这是否可行

这是我的错误消息:

 kernel: Out of memory: Kill process 31290 (java) score 293 or sacrifice child

默认情况下,DSE将执行器内存设置为
(总Ram)*(.7)-C*
使用的Ram。对于大多数系统来说,这应该是正常的。使用此设置时,Spark将无法打开OOM C*,反之亦然。如果要更改该乘法器(.7),它将在dse.yaml文件中设置为

initial_spark_worker_resources: 0.7

如果我要为系统设置最小内存,它将是16GB,但如果你是认真的,我建议至少32GB。如果要进行大量的内存缓存,则应该进一步提高这一点

32GB用于Spark或整个机器的完整内存