Hive 如何在配置单元中保留最新记录?
我有一个逻辑,通过它连接多个配置单元表以生成以下输出 然而,我需要一些帮助。对于相同的状态ID(即5或17),我只想保留Ser NO值最小的记录 但是,这里还有一个问题是,如果状态ID在状态更新后重复(例如,状态ID 17再次出现在记录13中-应该保留,因为它再次被重新启动并返回) 因此,如果我按日期、时间和状态排序并删除重复项,这将不符合我的目的 我需要设置一个循环,检查状态ID是否与以前的记录相比发生了更改,如果状态ID相同,则过滤掉记录 预期产出应为:Hive 如何在配置单元中保留最新记录?,hive,Hive,我有一个逻辑,通过它连接多个配置单元表以生成以下输出 然而,我需要一些帮助。对于相同的状态ID(即5或17),我只想保留Ser NO值最小的记录 但是,这里还有一个问题是,如果状态ID在状态更新后重复(例如,状态ID 17再次出现在记录13中-应该保留,因为它再次被重新启动并返回) 因此,如果我按日期、时间和状态排序并删除重复项,这将不符合我的目的 我需要设置一个循环,检查状态ID是否与以前的记录相比发生了更改,如果状态ID相同,则过滤掉记录 预期产出应为: Ser_NO ID
Ser_NO ID ID_NO STATUS DESCRIPTION initiated_dt time
1 100 10 5 Initiated 20180426 000601
3 100 10 15 BM(O) review 20180426 021424
4 100 10 17 BM(O) & SME Review 20180426 021552
7 100 10 40 Pending BSDA First Approval 20180426 021810
8 100 10 25 Pending Controller approval 20180426 021844
9 100 10 55 Booking SDA Completed 20180426 021917
11 100 10 4 Re-Initiated 20180426 021944
12 100 10 15 BM(O) review 20180426 030648
13 100 10 17 BM(O) & SME Review 20180426 030714
14 100 10 40 Pending BSDA First Approval 20180426 030734
16 100 10 25 Pending Controller approval 20180426 030805
17 100 10 55 Booking SDA Completed 20180426 030837
24 100 10 60 Shipping SDA Completed 20180426 031056
25 100 10 55 Booking SDA Completed 20180426 031124
但我想知道是否有更简单的方法来实现这一点
Ser_NO ID ID_NO STATUS DESCRIPTION initiated_dt time
1 100 10 5 Initiated 20180426 000601
2 100 10 5 Initiated 20180426 021408
3 100 10 15 BM(O) review 20180426 021424
4 100 10 17 BM(O) & SME Review 20180426 021552
5 100 10 17 BM(O) & SME Review 20180426 021621
6 100 10 17 BM(O) & SME Review 20180426 021639
7 100 10 40 Pending BSDA First Approval 20180426 021810
8 100 10 25 Pending Controller approval 20180426 021844
9 100 10 55 Booking SDA Completed 20180426 021917
10 100 10 55 Booking SDA Completed 20180426 021917
11 100 10 4 Re-Initiated 20180426 021944
12 100 10 15 BM(O) review 20180426 030648
13 100 10 17 BM(O) & SME Review 20180426 030714
14 100 10 40 Pending BSDA First Approval 20180426 030734
15 100 10 40 Pending BSDA First Approval 20180426 030805
16 100 10 25 Pending Controller approval 20180426 030805
17 100 10 55 Booking SDA Completed 20180426 030837
18 100 10 55 Booking SDA Completed 20180426 030837
24 100 10 60 Shipping SDA Completed 20180426 031056
25 100 10 55 Booking SDA Completed 20180426 031124
请提供所需的输出感兴趣的问题,但提供给定输入的输出。我还添加了预期输出。谢谢。有人能帮忙解决这个问题吗?