Hive 配置单元:从表中删除重复行

Hive 配置单元:从表中删除重复行,hive,hiveql,Hive,Hiveql,我有一个包含数百万条记录的表,所有记录都有重复项。因此,我试图提取表中所有不同的行。 以下是我使用的查询: CREATE TABLE unique_table AS SELECT DISTINCT * FROM duplicates_table; 这是做这项工作的有效方法吗?或者有没有一种方法可以在不创建新表的情况下删除重复行?您可以使用相同的表: INSERT OVERWRITE table_name SELECT DISTINCT * FROM table_name;

我有一个包含数百万条记录的表,所有记录都有重复项。因此,我试图提取表中所有不同的行。 以下是我使用的查询:

CREATE TABLE unique_table AS SELECT DISTINCT * FROM duplicates_table;

这是做这项工作的有效方法吗?或者有没有一种方法可以在不创建新表的情况下删除重复行?

您可以使用相同的表:

INSERT OVERWRITE table_name SELECT DISTINCT * FROM table_name;