Hive 如何在配置单元中保留最新记录?

Hive 如何在配置单元中保留最新记录?,hive,Hive,我有一个逻辑,通过它连接多个配置单元表以生成以下输出 然而,我需要一些帮助。对于相同的状态ID(即5或17),我只想保留Ser NO值最小的记录 但是,这里还有一个问题是,如果状态ID在状态更新后重复(例如,状态ID 17再次出现在记录13中-应该保留,因为它再次被重新启动并返回) 因此,如果我按日期、时间和状态排序并删除重复项,这将不符合我的目的 我需要设置一个循环,检查状态ID是否与以前的记录相比发生了更改,如果状态ID相同,则过滤掉记录 预期产出应为: Ser_NO ID

我有一个逻辑,通过它连接多个配置单元表以生成以下输出

然而,我需要一些帮助。对于相同的状态ID(即5或17),我只想保留Ser NO值最小的记录

但是,这里还有一个问题是,如果状态ID在状态更新后重复(例如,状态ID 17再次出现在记录13中-应该保留,因为它再次被重新启动并返回)

因此,如果我按日期、时间和状态排序并删除重复项,这将不符合我的目的

我需要设置一个循环,检查状态ID是否与以前的记录相比发生了更改,如果状态ID相同,则过滤掉记录

预期产出应为:

    Ser_NO   ID    ID_NO    STATUS  DESCRIPTION             initiated_dt    time
    1        100    10      5       Initiated               20180426        000601
    3        100    10      15      BM(O) review            20180426        021424
    4        100    10      17    BM(O) & SME Review        20180426        021552
    7        100    10      40  Pending BSDA First Approval 20180426        021810
    8        100    10      25  Pending Controller approval 20180426        021844
    9        100    10      55  Booking SDA Completed       20180426        021917
    11       100    10      4   Re-Initiated                20180426        021944
    12       100    10      15  BM(O) review                20180426        030648
    13       100    10      17  BM(O) & SME Review          20180426        030714
    14       100    10      40  Pending BSDA First Approval 20180426        030734
    16       100    10      25  Pending Controller approval 20180426    030805
    17       100    10      55  Booking SDA Completed       20180426    030837
    24       100    10      60  Shipping SDA Completed      20180426    031056
    25       100    10      55  Booking SDA Completed       20180426    031124
但我想知道是否有更简单的方法来实现这一点

Ser_NO   ID    ID_NO    STATUS  DESCRIPTION             initiated_dt    time
1        100    10      5       Initiated               20180426        000601
2        100    10      5       Initiated               20180426        021408
3        100    10      15      BM(O) review            20180426        021424
4        100    10      17    BM(O) & SME Review        20180426        021552
5        100    10      17    BM(O) & SME Review        20180426        021621
6        100    10      17    BM(O) & SME Review        20180426        021639
7        100    10      40  Pending BSDA First Approval 20180426        021810
8        100    10      25  Pending Controller approval 20180426        021844
9        100    10      55  Booking SDA Completed       20180426        021917
10       100    10      55  Booking SDA Completed       20180426        021917
11       100    10      4   Re-Initiated                20180426        021944
12       100    10      15  BM(O) review                20180426        030648
13       100    10      17  BM(O) & SME Review          20180426        030714
14       100    10      40  Pending BSDA First Approval 20180426        030734
15       100    10      40  Pending BSDA First Approval 20180426    030805
16       100    10      25  Pending Controller approval 20180426    030805
17       100    10      55  Booking SDA Completed       20180426    030837
18       100    10      55  Booking SDA Completed       20180426    030837
24       100    10      60  Shipping SDA Completed      20180426    031056
25       100    10      55  Booking SDA Completed       20180426    031124

请提供所需的输出感兴趣的问题,但提供给定输入的输出。我还添加了预期输出。谢谢。有人能帮忙解决这个问题吗?