Python 我如何知道是否需要额外的线程?

Python 我如何知道是否需要额外的线程?,python,multithreading,python-3.x,Python,Multithreading,Python 3.x,我有一个Python脚本,它必须是可靠的,可以全天候工作,最好永远不会失败。它从第三方服务接收数据,然后进行处理,然后保存到数据库中。它可能一次接收大量数据,也可能不会 为了保存可靠性,它首先将数据保存到不同的文件中,每次接收数据时都会保存一个新文件 我想知道,我是否应该在每次接收数据时创建一个新线程来加速它?或者只是创建一个新的线程,在其中我会说所有数据都是文件? 或新线程来处理数据并将其保存到数据库中 我之所以这么想,是因为当数据忙于处理之前数据的其他部分或将其保存到数据库中时,数据可能会出

我有一个Python脚本,它必须是可靠的,可以全天候工作,最好永远不会失败。它从第三方服务接收数据,然后进行处理,然后保存到数据库中。它可能一次接收大量数据,也可能不会

为了保存可靠性,它首先将数据保存到不同的文件中,每次接收数据时都会保存一个新文件

我想知道,我是否应该在每次接收数据时创建一个新线程来加速它?或者只是创建一个新的线程,在其中我会说所有数据都是文件? 或新线程来处理数据并将其保存到数据库中

我之所以这么想,是因为当数据忙于处理之前数据的其他部分或将其保存到数据库中时,数据可能会出现


我怎么知道我是否真的需要它

在我看来,在任何时候写数据都不好。最好创建和写入块(硬盘寿命、日志、CPU)。IO在任何时候都可能产生问题。它决定每秒读取的数据的大小和数量。根据系统的设置,如果在相同的位置更新/写入数据,多线程可能会导致数据库/文件系统出现争用情况。仅当您认为您的基础架构能够应对上述问题时才使用。这可能会跳过您对“可靠”的定义。@user2464424,不会有更新,只会插入。