Apache spark 无法在Spark应用程序中创建新的本机线程
我正在运行一个Spark应用程序,我总是遇到内存不足异常Apache spark 无法在Spark应用程序中创建新的本机线程,apache-spark,Apache Spark,我正在运行一个Spark应用程序,我总是遇到内存不足异常 Exception in thread "main" java.lang.OutOfMemoryError: unable to create new native thread 我在linux上的一个节点群集中的本地[5]下运行我的程序,但它仍然给我这个错误。有人能告诉我如何在我的Spark应用程序中纠正这个错误吗?在您的机器上配置的ulimit看起来有问题。运行ulimit-a命令,您将看到以下结果 core file size
Exception in thread "main" java.lang.OutOfMemoryError: unable to create new native thread
我在linux上的一个节点群集中的本地[5]下运行我的程序,但它仍然给我这个错误。有人能告诉我如何在我的Spark应用程序中纠正这个错误吗?在您的机器上配置的
ulimit
看起来有问题。运行ulimit-a
命令,您将看到以下结果
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 63604
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 10240
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 63604
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
检查打开的文件
和最大用户进程
配置值。应该很高
您可以使用以下命令对其进行配置:
ulimit -n 10240
ulimit -u 63604
完成ulimit的配置后。您可以启动应用程序以查看效果。您是否尝试运行不同的应用程序,但仍然得到相同的效果?需要更多的细节。很难判断出哪里出了问题,你在代码中做了什么?