Hive 需要选项来限制映射联接上配置单元中的内存

Hive 需要选项来限制映射联接上配置单元中的内存,hive,Hive,如何限制映射联接中使用的内存,如何控制它 假设我连接了两个巨大的表(每个1000万条记录有10列)。我能控制分配给那个工作的内存吗 感谢您回答默认情况下,映射联接(如小表)中使用的表的最大大小为100000000字节(约1 GB) 如果你想增加这个 set hive.auto.convert.join.noconditionaltask=true; set hive.auto.convert.join.noconditionaltask.size=2000000000;

如何限制映射联接中使用的内存,如何控制它

假设我连接了两个巨大的表(每个1000万条记录有10列)。我能控制分配给那个工作的内存吗


感谢您回答

默认情况下,映射联接(如小表)中使用的表的最大大小为100000000字节(约1 GB)

如果你想增加这个

set hive.auto.convert.join.noconditionaltask=true;
set hive.auto.convert.join.noconditionaltask.size=2000000000;