Database 如何优化小表和大表之间的连接?
一个小数据库(一台机器n1)和一个非常大的数据库(在机器n2上,有十亿条记录)需要连接起来。 应用服务器需要将数据从数据库服务器读取到内存中。 它应该先读取小db吗?然后从第二个数据库读取 如何以最快的速度执行此联接?Database 如何优化小表和大表之间的连接?,database,join,Database,Join,一个小数据库(一台机器n1)和一个非常大的数据库(在机器n2上,有十亿条记录)需要连接起来。 应用服务器需要将数据从数据库服务器读取到内存中。 它应该先读取小db吗?然后从第二个数据库读取 如何以最快的速度执行此联接? 一般来说,在现实生活中是如何做到这一点的?一般来说,您应该尝试将处理推送到数据库中。也许大型数据库服务器可以将小型数据库服务器拉到本地,并处理服务器上的所有内容 如果要在应用程序中处理,一个常见且通常是最佳的策略是执行哈希连接。将小数据集转换为哈希表。然后,您可以根据该哈希表探测
一般来说,在现实生活中是如何做到这一点的?一般来说,您应该尝试将处理推送到数据库中。也许大型数据库服务器可以将小型数据库服务器拉到本地,并处理服务器上的所有内容 如果要在应用程序中处理,一个常见且通常是最佳的策略是执行哈希连接。将小数据集转换为哈希表。然后,您可以根据该哈希表探测大数据集中的项目。这需要很少的内存,很少的CPU,而且您可以流式处理大数据集
如果联接条件相等(例如,
Orders.CustomerID=Customers.ID
),并且两个集合中的一个集合足够小,可以放入内存,则此策略始终有效。通常,您应该尝试将处理推送到数据库中。也许大型数据库服务器可以将小型数据库服务器拉到本地,并处理服务器上的所有内容
如果要在应用程序中处理,一个常见且通常是最佳的策略是执行哈希连接。将小数据集转换为哈希表。然后,您可以根据该哈希表探测大数据集中的项目。这需要很少的内存,很少的CPU,而且您可以流式处理大数据集
如果联接条件相等(例如,Orders.CustomerID=Customers.ID
),并且两个集合中的一个集合足够小,可以放入内存,则此策略始终有效