Hive 如何从配置单元表中删除字符串列中的重复项

Hive 如何从配置单元表中删除字符串列中的重复项,hive,duplicates,Hive,Duplicates,我用重复的值分隔列(字符串)空间。我要删除重复项: e、 g 我想要的结果是: column_name ---------------- gun man shuttle enemy run hit chase 我正在使用hive数据库。请提供帮助。没有自定义自定义自定义项,这是一种仅使用查询的方法 select id, concat_ws(' ',collect_set(splited)) as column_name from ( select id, splited from tb

我用重复的值分隔列(字符串)空间。我要删除重复项: e、 g

我想要的结果是:

column_name
----------------
gun man
shuttle enemy run
hit chase

我正在使用hive数据库。请提供帮助。

没有自定义自定义自定义项,这是一种仅使用查询的方法

select id, concat_ws(' ',collect_set(splited)) as column_name
from
(
  select id, splited
  from tbl_name
  LATERAL VIEW explode(split(column_name,' ')) t as splited
  group by id, splited
) x
group by id
可能重复的
select id, concat_ws(' ',collect_set(splited)) as column_name
from
(
  select id, splited
  from tbl_name
  LATERAL VIEW explode(split(column_name,' ')) t as splited
  group by id, splited
) x
group by id