Apache spark 为什么spark驱动程序不使用交换?

Apache spark 为什么spark驱动程序不使用交换?,apache-spark,Apache Spark,我的spark驱动程序将抛出内存错误。当我检查内存使用情况时,整个交换都未使用 如果内存不足,为什么不使用swap?是否有一些锁定设置专门锁定RAM中的内存?我不确定您写了什么,但请检查此链接以了解spark中的内存管理。事实上,在使用任何大数据系统时(比如hadoop、cassandra、spark等等),都强烈建议停用操作系统级别的交换使用。激活交换将降低性能,因为应用程序将执行一些I/O操作,而不仅仅是从内存检索/保存数据。我不确定您写了什么,但请检查spark中的内存管理链接。事实上,在

我的spark驱动程序将抛出内存错误。当我检查内存使用情况时,整个交换都未使用


如果内存不足,为什么不使用swap?是否有一些锁定设置专门锁定RAM中的内存?

我不确定您写了什么,但请检查此链接以了解spark中的内存管理。事实上,在使用任何大数据系统时(比如hadoop、cassandra、spark等等),都强烈建议停用操作系统级别的交换使用。激活交换将降低性能,因为应用程序将执行一些I/O操作,而不仅仅是从内存检索/保存数据。我不确定您写了什么,但请检查spark中的内存管理链接。事实上,在使用任何大数据系统时(比如hadoop、cassandra、spark等等),都强烈建议停用操作系统级别的交换使用。激活交换将降低性能,因为应用程序将执行一些I/O操作,而不仅仅是从内存检索/保存数据