Hive 控制配置单元中的详细级别
我通过以下方式从命令行运行配置单元:Hive 控制配置单元中的详细级别,hive,Hive,我通过以下方式从命令行运行配置单元: hive -e "select * from table;" 它给了我查询的所有细节和阶段。 如果我这样做: 它没有给出任何细节 我想要的只是显示map reduce每个步骤的映射器和还原器的数量,以及map reduce步骤的数量,但我不想看到以下所有信息: 2013-01-02 12:46:28,756 Stage-1 map = 100%, reduce = 67%, Cumulative CPU 287.99 sec 那么,是否有可能对Hive
hive -e "select * from table;"
它给了我查询的所有细节和阶段。
如果我这样做:
它没有给出任何细节
我想要的只是显示map reduce每个步骤的映射器和还原器的数量,以及map reduce步骤的数量,但我不想看到以下所有信息:
2013-01-02 12:46:28,756 Stage-1 map = 100%, reduce = 67%, Cumulative CPU 287.99 sec
那么,是否有可能对Hive的冗长性进行更精细的控制?谢谢 我的“解决方案”是
这很糟糕(可能会造成更多的死亡),但这是我迄今为止所能想到的最好的方法
编辑:请观看并投票给我。我最终得到的是一大堆日志文件,上面只写了一行,就像上面的一样,每秒一行。哦,真聪明!我回去工作时会试试这个。我确信grep函数有一些技巧,只有当它完成前10%,20%等时才知道。
2013-01-02 12:46:28,756 Stage-1 map = 100%, reduce = 67%, Cumulative CPU 287.99 sec
hive ... 2>&1 | grep --line-buffered -v -e ' map = .*, reduce = ' | tee log