Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/312.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
并行python工作程序失败_Python_Python C Extension_Parallel Python - Fatal编程技术网

并行python工作程序失败

并行python工作程序失败,python,python-c-extension,parallel-python,Python,Python C Extension,Parallel Python,当使用pp并行处理一个非常复杂的机器学习问题时,我发现自己不得不相当广泛地依赖于质量不同的第三方库。其中一个在不同的数据集上大量使用时,尤其具有相当数量的边缘案例崩溃。我最终将不得不解决这些问题,但在短期内,试图修复我和他们的bug实在是太多了——而这个库确实是最好的库 我的问题是:是否有一个既定的模式来允许pp中本地工作进程的正常失败 我看到的选项有: 不要使用任何本地工作进程,只使用远程工作进程,然后依赖套接字超时 Shell都会生成一个辅助python脚本,我将其包装并作为一个单独的进程执

当使用pp并行处理一个非常复杂的机器学习问题时,我发现自己不得不相当广泛地依赖于质量不同的第三方库。其中一个在不同的数据集上大量使用时,尤其具有相当数量的边缘案例崩溃。我最终将不得不解决这些问题,但在短期内,试图修复我和他们的bug实在是太多了——而这个库确实是最好的库

我的问题是:是否有一个既定的模式来允许pp中本地工作进程的正常失败

我看到的选项有:

  • 不要使用任何本地工作进程,只使用远程工作进程,然后依赖套接字超时
  • Shell都会生成一个辅助python脚本,我将其包装并作为一个单独的进程执行,然后使用退出代码检查崩溃。这可能必须与超时相结合,以防止出现非segfault故障情况

  • 我是不是遗漏了什么?我一直在研究pp.py,据我所知,工作进程上没有退出检测。

    或者,建议一种比使用pp更好的方法来解决这种并行化问题。