在python中使用多处理创建的进程上使用join（）

我正在使用multiprocessing module的Process类生成多个进程，这些进程执行一些脚本，然后死亡。我想要的是，在每个进程上应用一个超时，这样，如果不能及时执行，进程就会死亡。我正在进程对象上使用

join（timeout）

。

因为join（）函数不存在；不要终止进程，它只是阻塞进程直到它完成

现在我的问题是：将

join（）

与

timeout

一起使用是否有任何副作用。例如，在主进程死亡后，是否会自动清理进程？？或者我必须手动终止这些进程

我是python及其多处理模块的新手，请耐心等待

---

我的代码，正在for循环中创建进程：：

q = Queue()
jobs = [
        Process(
            target=get_current_value,
            args=(q,),
            kwargs=
            {
                'device': device,
                'service_list': service_list,
                'data_source_list': data_source_list
                }
            ) for device in device_list
        ]
for j in jobs:
        j.start()
for k in jobs:
        k.join()

join（）

对子进程不做任何操作。如果您确实希望以非干净的方式终止工作进程，那么应该使用

terminate（）

（您应该了解其后果）。

---

如果希望在主进程退出时终止子进程，则应在其上设置

守护进程

属性。

参数

timeout

只告诉

加入

进程在放弃之前要等待多长时间才能退出。如果

超时

过期，则

进程

不会退出；

join

调用只是解除阻塞。如果要在超时过期时结束工作进程，则需要手动执行此操作。您可以按照wRAR的建议使用

终止

，不干净地关机，或者使用其他一些信号机制告诉孩子们干净地关机：

p = Process(target=worker, args=(queue,))
p.start()
p.join(50)
if p.isalive(): # join timed out without the process actually finishing
    #p.terminate() # unclean shutdown

如果您不想使用

终止

，那么另一种方法实际上取决于工作人员在做什么。如果他们正在队列中消费，您可以使用sentinel：

def worker(queue):
   for item in iter(queue.get, None): # None will break the loop
       # Do normal work

if __name__ == "__main__":
    queue = multiprocessing.Queue()
    p = multiprocessing.Process(target=worker, args=(queue,))
    p.start()
    # Do normal work here

    # Time to shut down
    queue.put(None)

或者，如果在循环中执行其他操作，则可以使用

事件
：

def worker(event):
   while not event.is_set():
       # Do work here

if __name__ == "__main__":
    event= multiprocessing.Event()
    p = multiprocessing.Process(target=worker, args=(event,))
    p.start()
    # Do normal work here

    # Time to shut down
    event.set()

不过，使用
terminate
也可以，除非您的子进程使用的资源在进程意外关闭时可能会损坏（如写入文件或数据库，或持有锁）。如果您只是在worker中进行一些计算，那么使用
terminate
不会有任何影响。
为什么不使用信号模块？请看这个问题：这个问题似乎是关于线程的……我使用的是多进程，但子进程实际上在做什么？他们是从
队列中消费的吗？@dano:不，他们不是从任何队列中消费的……他们在队列中输入了一些结果，Rather我不想采用非干净的方式..我希望我的主进程杀死那些花费更多时间的子进程..有什么线索吗？要么你杀死进程，要么让它们干净地终止，最有可能的是使用你已经使用的任何通道（如队列）或其他IPC方式向它们传递数据。您无法从外部完全关闭进程（或线程）。我正在将一个公共队列传递给每个进程，并将其结果放入队列中……我如何使用该队列终止/终止进程？？？我感到非常困惑似乎join（）和timeout以某种方式同步所有子进程，而不像join（）那样没有任何超时参数，我不知道你的意思。我已经在使用你建议的第一种方法…但是当我在for循环中创建进程时，连接（超时）不起作用，只对一个进程就可以了。我应该发布在for循环中创建进程的代码吗？@Zira是的，请将其编辑到你的问题中。听起来你需要在启动流程时将其放入一个列表中，然后在所有流程启动后调用
join
on all到商店。这是一个非常好的答案！我要补充的唯一一点是，还可以使用Python的
signal
包捕获子进程内的
SIGTERM
和
SIGINT
信号，以便仍然优雅地退出并释放资源。然后仍然可以使用
terminate（）
关闭进程。与使用
队列
或
事件
相比，这种方法的优点是：1）不需要复杂的进程间通信，2）它还可以处理系统重新启动/关闭的情况……最后，如果另外还将每个进程的代码入口点包装在
try…Finally…
块中，您还可以在出现异常时优雅地退出并释放所有资源。通过这种方式，几乎可以捕获Python进程可以退出的所有方式（当然，SIGKILL除外，这是不可能捕获的）。