Hive 配置单元中的最大动态分区限制

Hive 配置单元中的最大动态分区限制,hive,Hive,我在查询中使用动态分区。我得到以下错误:- ERROR Failed with exception Number of dynamic partitions created is 9000, which is more than 5000 我知道有很多关于这个话题的帖子。为hive.exec.max.dynamic.partitions设置更高的值应该可以解决这个问题。我的问题不同。我正在努力理解错误的确切含义。此限制是否仅适用于单个作业,即单个作业不能创建超过5000个动态分区?或者这是一个

我在查询中使用动态分区。我得到以下错误:-

ERROR Failed with exception Number of dynamic partitions created is 9000, which is more than 5000

我知道有很多关于这个话题的帖子。为
hive.exec.max.dynamic.partitions
设置更高的值应该可以解决这个问题。我的问题不同。我正在努力理解错误的确切含义。此限制是否仅适用于单个作业,即单个作业不能创建超过5000个动态分区?或者这是一个表级限制,即定义了动态分区的表总共不能超过5000个分区?

此限制适用于单个作业,而不适用于表。 您可以查看配置单元测试来验证这一点


因此没有表级限制?是的,据我所知,没有表级限制。如果要读取多个分区,则会影响性能。Hive在RDBMS中存储元数据,这样应该足够快,并且Hadoop集群中应该有足够的资源。