Hive 如何附加到配置单元阵列?

Hive 如何附加到配置单元阵列?,hive,Hive,我有一个配置单元表,其中用户ID有一个ts列,它是一个timeseries,存储为数组。我想将timeseries作为最近的窗口进行维护 (a) 如何从另一个由ID连接的表中向每列的末尾追加一个新数字? (b) 如何删除前导号码?配置单元中的数据通常存储在HDFS中。HDFS的附加功能有限。如果数据的不断修改是你的分析系统的核心,那么也许你应该考虑使用像HbASE或卡桑德拉这样的替代品。p> 但是,如果数据更新只是工作流程的一小部分,我建议您继续使用Hive(以便利用它类似SQL的功能),但请重

我有一个配置单元表,其中用户ID有一个ts列,它是一个timeseries,存储为数组。我想将timeseries作为最近的窗口进行维护

(a) 如何从另一个由ID连接的表中向每列的末尾追加一个新数字?
(b) 如何删除前导号码?

配置单元中的数据通常存储在HDFS中。HDFS的附加功能有限。如果数据的不断修改是你的分析系统的核心,那么也许你应该考虑使用像HbASE或卡桑德拉这样的替代品。p> 但是,如果数据更新只是工作流程的一小部分,我建议您继续使用Hive(以便利用它类似SQL的功能),但请重新考虑存储这些更新的设计

上述问题的一个快速解决方案是在表中每个用户ID有多条记录。每个记录都有一个与用户ID相对应的timeseries。当您想对timeseries执行上一次N分析时,您应该使用用户ID列上的by从表中进行选择。您的自定义缩减器只需选择最后N个(如果timeseries的大小小于N,则小于N个)时间戳并返回它们

Harish Butani还对Hive中的窗口函数做了一些工作。您还可以查看并获得更多的洞察力。祝你好运,亚历克西