Dynamic 将数据加载到动态分区需要很多时间

Dynamic 将数据加载到动态分区需要很多时间,dynamic,hive,partition,Dynamic,Hive,Partition,当我使用动态分区运行配置单元查询时,我发现将数据加载到分区是一个耗时的过程 考虑到我只有date=2015-03-15和locale=us的数据,并使用动态分区运行查询,我明白了- Loading data to table schema.tablename partition (date=null, locale=null) Loading partition {date=2015-01-25,locale=us} Loading partition {date=2015-02-12,loca

当我使用动态分区运行配置单元查询时,我发现将数据加载到分区是一个耗时的过程

考虑到我只有date=2015-03-15和locale=us的数据,并使用动态分区运行查询,我明白了-

Loading data to table schema.tablename partition (date=null, locale=null)
Loading partition {date=2015-01-25,locale=us}
Loading partition {date=2015-02-12,locale=mx}
Loading partition {date=2015-03-17,locale=us}
Loading partition {date=2014-12-31,locale=tw}
...
...
我看到这里收集了很多统计数据,虽然我已经设置了
设置hive.stats.autogather=false


我想知道是否有任何设置/我可以做的任何事情来最小化将数据加载到分区中所花费的时间。请帮助。

您的问题是什么?我想知道是否有任何设置/我可以做什么来减少将数据加载到分区所需的时间。@Balaji您找到解决方案了吗??我面临着同样的问题。我也面临着同样的问题…如果你找到任何解决方案,请帮助我