Hive 在配置单元表中添加唯一值

Hive 在配置单元表中添加唯一值,hive,apache-pig,auto-increment,Hive,Apache Pig,Auto Increment,我想在我的配置单元表中添加一个唯一的值,每当我输入任何记录时,该值不应在整个配置单元表中重复。我无法找到任何解决方案或任何函数。在我的例子中,我想用pig拉丁语在hive中输入记录。请帮助。HIVE不提供RDBMS数据库类约束 建议使用PIG脚本的方法如下所示。 1.加载数据 2.对数据应用DISTINCT 3.在某个位置存储数据 4.在同一位置创建外部配置单元表 如果您可以使用HCATALOG,它允许您直接将数据存储在配置单元表中,那么第3步和第4步可以结合使用 官方文件:你看过这个吗?它似乎

我想在我的配置单元表中添加一个唯一的值,每当我输入任何记录时,该值不应在整个配置单元表中重复。我无法找到任何解决方案或任何函数。在我的例子中,我想用pig拉丁语在hive中输入记录。请帮助。

HIVE不提供RDBMS数据库类约束

建议使用PIG脚本的方法如下所示。 1.加载数据 2.对数据应用DISTINCT 3.在某个位置存储数据 4.在同一位置创建外部配置单元表

如果您可以使用HCATALOG,它允许您直接将数据存储在配置单元表中,那么第3步和第4步可以结合使用


官方文件:

你看过这个吗?它似乎提供了一种使用hi/lo算法在hive中生成序列号的方法

请共享链接好吗?[1]:[2]:它如何应用于OP请求?@GopalRajput我不确定此解决方案是否有效。@dududumarkovitz有没有办法在我的hive表中添加自动递增功能?因此,每当我添加记录时,该值都会得到更新。您对插入有多大的控制权?你知道最大批量吗?@DuduMarkovitz我一次只发送一个文件。有没有理由不使用
行号()而不是()
?@DuduMarkovitz我正在使用pig将数据插入蜂巢。如何在pig脚本中使用
row\u number()
?检查DISTINCT子句。下面的链接可能会有所帮助。你能提供一些例子吗?这将有助于我更好地理解它。