Python 具有多个线程和多个连接的多个查询

Python 具有多个线程和多个连接的多个查询,python,multithreading,postgresql,Python,Multithreading,Postgresql,我有一个1000万行的大型数据库,为此我有一台服务器,所以我决定将1000万行的大表分成4部分,并对表执行搜索(选择)操作。我想使用单独的postgres连接连接每个表,并且每个表都有不同的名称。我知道python有多处理模块,但我不知道如何为每个单独的连接和每个查询运行线程。我曾在上研究过这段代码,但它不允许show运行不同的多个查询这方面的任何帮助您将使用与其他多处理器或多线程代码几乎相同的模式。如果没有进一步的推理,这听起来像是一个非常糟糕的想法您的数据库查询可能会受到io限制,除非您的存

我有一个1000万行的大型数据库,为此我有一台服务器,所以我决定将1000万行的大表分成4部分,并对表执行搜索(选择)操作。我想使用单独的postgres连接连接每个表,并且每个表都有不同的名称。我知道python有多处理模块,但我不知道如何为每个单独的连接和每个查询运行线程。我曾在上研究过这段代码,但它不允许show运行不同的多个查询这方面的任何帮助

您将使用与其他多处理器或多线程代码几乎相同的模式。如果没有进一步的推理,这听起来像是一个非常糟糕的想法您的数据库查询可能会受到io限制,除非您的存储是基于ssd的。多线程可能只会导致磁盘抖动。一般来说,1000万行并不是一个很大的表。在这个阈值下,分区确实是必要的,这是不寻常的,除非您正在进行非常复杂的查询(比如说,生成笛卡尔积),或者每一行都包含大量列中的数据。您可能在试图解决性能问题。您正试图通过以多线程的形式添加并发来实现这一点。好啊你有什么证据可以帮助你?您是否发现了当前的性能瓶颈?你有没有试着确定现在花了多少时间?如果你还没有,那么试图解决这个问题还为时过早,因为你还不知道它是什么。