并行python工作程序失败
当使用pp并行处理一个非常复杂的机器学习问题时,我发现自己不得不相当广泛地依赖于质量不同的第三方库。其中一个在不同的数据集上大量使用时,尤其具有相当数量的边缘案例崩溃。我最终将不得不解决这些问题,但在短期内,试图修复我和他们的bug实在是太多了——而这个库确实是最好的库 我的问题是:是否有一个既定的模式来允许pp中本地工作进程的正常失败 我看到的选项有:并行python工作程序失败,python,python-c-extension,parallel-python,Python,Python C Extension,Parallel Python,当使用pp并行处理一个非常复杂的机器学习问题时,我发现自己不得不相当广泛地依赖于质量不同的第三方库。其中一个在不同的数据集上大量使用时,尤其具有相当数量的边缘案例崩溃。我最终将不得不解决这些问题,但在短期内,试图修复我和他们的bug实在是太多了——而这个库确实是最好的库 我的问题是:是否有一个既定的模式来允许pp中本地工作进程的正常失败 我看到的选项有: 不要使用任何本地工作进程,只使用远程工作进程,然后依赖套接字超时 Shell都会生成一个辅助python脚本,我将其包装并作为一个单独的进程执
我是不是遗漏了什么?我一直在研究pp.py,据我所知,工作进程上没有退出检测。或者,建议一种比使用pp更好的方法来解决这种并行化问题。