使用WebHCat的Hadoop Knox比以前的版本慢

使用WebHCat的Hadoop Knox比以前的版本慢,hadoop,hcatalog,knox-gateway,Hadoop,Hcatalog,Knox Gateway,我正在尝试将Knox用于我的MapReduce工作。以前,我没有使用Knox,MapReduce作业需要35秒 但是在使用Knox之后,我看到一个额外的作业-TempletonControllerJob首先执行,它将启动我原来的MapReduce作业,这实际上需要更多的时间-大约1分钟20秒 我知道MapReduce作业现在是TempletonControllerJob的子作业 但是我怎样才能使它更快呢 为什么TempletonControllerJob需要这么长时间 这是一个有趣的观察和问题

我正在尝试将Knox用于我的MapReduce工作。以前,我没有使用Knox,MapReduce作业需要35秒

但是在使用Knox之后,我看到一个额外的作业-TempletonControllerJob首先执行,它将启动我原来的MapReduce作业,这实际上需要更多的时间-大约1分钟20秒

我知道MapReduce作业现在是TempletonControllerJob的子作业

  • 但是我怎样才能使它更快呢
  • 为什么TempletonControllerJob需要这么长时间

  • 这是一个有趣的观察和问题。不幸的是,这是ApacheHive项目和Templeton/WebHCat的问题,而不是ApacheKnox的问题。Knox只是代理WebHCat API以提交作业。但愿我能帮上更多的忙