Mapreduce Hive中的动态分区

Mapreduce Hive中的动态分区,mapreduce,hive,Mapreduce,Hive,我是新来的蜂巢。 我的输入文件的格式如下 ID,DateYYYY-MM-DD,hourHH,键,值。表按日期,小时进行分区 输入文件包含7天24小时的数据。当我将此数据加载到配置单元表中时,我需要将数据加载到表的各个分区中。 能帮我个忙吗 谢谢, Sudhakar.一种方法是首先将数据加载到未分区的表中,例如下面示例中的tmp_some_表。然后,您可以执行以下操作: set hive.exec.dynamic.partition=true; set hive.exec.dynamic.

我是新来的蜂巢。 我的输入文件的格式如下 ID,DateYYYY-MM-DD,hourHH,键,值。表按日期,小时进行分区 输入文件包含7天24小时的数据。当我将此数据加载到配置单元表中时,我需要将数据加载到表的各个分区中。 能帮我个忙吗

谢谢,
Sudhakar.

一种方法是首先将数据加载到未分区的表中,例如下面示例中的tmp_some_表。然后,您可以执行以下操作:

  set hive.exec.dynamic.partition=true;
  set hive.exec.dynamic.partition.mode=nonstrict;
  from tmp_some_table tt
  insert overwrite table some_table partition(day, hour)
  select
    id,
    key,
    value, 
    day,
    hour

分区必须是select子句中的最后一列。以上内容适用于Hive0.7.1。有关更多信息,请参阅。请注意,如果有。

一种方法是首先将数据加载到未分区的表中,例如下面示例中的tmp\u some\u表。然后,您可以执行以下操作:

  set hive.exec.dynamic.partition=true;
  set hive.exec.dynamic.partition.mode=nonstrict;
  from tmp_some_table tt
  insert overwrite table some_table partition(day, hour)
  select
    id,
    key,
    value, 
    day,
    hour

分区必须是select子句中的最后一列。以上内容适用于Hive0.7.1。有关更多信息,请参阅。请注意,如果您尝试过。

您尝试过地图/缩小作业吗?您尝试过地图/缩小作业吗?