Hive 使用配置单元,如何查询跨多个分区拆分的数据?

Hive 使用配置单元,如何查询跨多个分区拆分的数据?,hive,Hive,从一个按日期分区的表字段(每天生成一个新分区),我需要提取过去三个月的记录。这意味着我需要查询过去三个月内每个分区上的表,以使用“where date

从一个按日期分区的表字段(每天生成一个新分区),我需要提取过去三个月的记录。这意味着我需要查询过去三个月内每个分区上的表,以使用“where date<'today's date'和date>='today-90 days'获取数据

我认为这个查询效率不高。
有没有更好的方法来访问分布在多个分区上的数据?

为什么您认为这样做效率低下?表中每个分区有大量行,我只需要每个分区中的几行(基于匹配条件)。因此,在多个分区上搜索几行可能会导致查询效率低下。这完全取决于您的基础结构。您的群集必须有足够的数据节点来有效地处理您的请求。您的where条件仍将在多年内删除大量分区(3个月=大约90个分区)(我假设)。是的,我意识到数据集非常庞大,我很可能会查询特定的分区来提取它,因为它没有按我正在查看的键进行分区。