Hadoop 当接收数据的时间突然改变时,如何处理配置单元中的增量数据

Hadoop 当接收数据的时间突然改变时,如何处理配置单元中的增量数据,hadoop,hive,Hadoop,Hive,我是新来的。。 我每个月的第一天都会得到数据。此数据存储为 配置单元中的分区表。假设我在月中获得数据[任何日期],那么我是否删除旧的分区并创建一个新的分区,用最新的日期…< /P> 请给我建议一个解决方案。您当前的分区密钥是什么?您可以按月份进行分区,然后删除该月份的数据并重新加载。我们可以自行决定分区键。我们是否必须删除旧分区或其他分区?分区方案不一定与您加载数据的方式有关。数据增量可能包含现有分区的更新和新数据以及旧数据。这一切都取决于您的情景和设计我们必须做出最佳决策。请看以下答案:

我是新来的。。 我每个月的第一天都会得到数据。此数据存储为 配置单元中的分区表。假设我在月中获得数据[任何日期],那么我是否删除旧的分区并创建一个新的分区,用最新的日期…< /P>
请给我建议一个解决方案。

您当前的分区密钥是什么?您可以按
月份进行分区,然后删除该月份的数据并重新加载。我们可以自行决定分区键。我们是否必须删除旧分区或其他分区?分区方案不一定与您加载数据的方式有关。数据增量可能包含现有分区的更新和新数据以及旧数据。这一切都取决于您的情景和设计我们必须做出最佳决策。请看以下答案: