是什么原因引起的;“杀死”;在python中并行运行时出错?

是什么原因引起的;“杀死”;在python中并行运行时出错?,python,parallel-processing,joblib,Python,Parallel Processing,Joblib,在对熊猫数据帧进行预测时,我遇到了一个问题: model = joblib.load(f"models/{MODEL}_{FOLD}.pkl") preds = model.predict(df) joblib.dump(preds, f"models/predictions_{FOLD}.pkl") 在5次循环中,2/5次迭代是成功的,在第三次循环开始后,我得到以下结果: Parallel(n_jobs=8): Using backend Thread

在对熊猫数据帧进行预测时,我遇到了一个问题:

model = joblib.load(f"models/{MODEL}_{FOLD}.pkl")
preds = model.predict(df)
joblib.dump(preds, f"models/predictions_{FOLD}.pkl")
在5次循环中,2/5次迭代是成功的,在第三次循环开始后,我得到以下结果:

Parallel(n_jobs=8): Using backend ThreadingBackend with 8 concurrent workers.
Killed
程序中止。是什么引起的

编辑:以下是我在/var/log/syslog中找到的内容:

oom-kill:constraint=CONSTRAINT_NONE,nodemask=(null),cpuset=/,mems_allowed=0,global_oom,task_memcg=/system.slice/code-server.service,task=python,pid=1133,uid=0
Mar 29 20:26:56 master kernel: [40821.605552] Out of memory: Killed process 1133 (python) total-vm:8036372kB, anon-rss:6906304kB, file-rss:0kB, shmem-rss:4kB
Mar 29 20:26:56 master kernel: [40821.852558] oom_reaper: reaped process 1133 (python), now anon-rss:0kB, file-rss:0kB, shmem-rss:4kB
解决方案:正如评论中指出的,该问题是由于OOM进程调用引起的。关闭某些连接到internet的应用程序已解决
问题。

如果kill意味着它得到了
SIGKILL
,那么可能是内核(OOM killer)在做这件事。。。可能是您耗尽了所有可用的虚拟内存吗?我在代码服务器上工作。每次迭代后释放内存都没有用如果kill意味着它得到了
SIGKILL
,那么它可能是内核(OOM killer)在做这件事。。。可能是您耗尽了所有可用的虚拟内存吗?我在代码服务器上工作。在每次无用的迭代后释放内存