Java Hadoop:用于可视化关键值数据和开发文件的工具

Java Hadoop:用于可视化关键值数据和开发文件的工具,java,hadoop,key-value,file-browser,Java,Hadoop,Key Value,File Browser,是否有任何简单、易于启动的java工具用于可视化map reduce作业目录中的键/值数据? 具体来说,我想浏览一个20个工作图的简化工作流程,点击单个文件并查看数据,甚至可能看到文件大小的直方图 这里有一些注意事项,例如: 某些文件具有序列化数据(不仅仅是文本) 显然,在“云级别”使用这个系统可能是愚蠢的,而不是一个开发工具 然而,这种工具在开发和本地调试大型连接的m/r管道时非常有用。 这是为了开发目的(我不想在真实集群中可视化分布式键/值hadoop数据)。签出 逐步监视作业执行

是否有任何简单、易于启动的java工具用于可视化map reduce作业目录中的键/值数据?

具体来说,我想浏览一个20个工作图的简化工作流程,点击单个文件并查看数据,甚至可能看到文件大小的直方图

  • 这里有一些注意事项,例如:

    • 某些文件具有序列化数据(不仅仅是文本)
    • 显然,在“云级别”使用这个系统可能是愚蠢的,而不是一个开发工具
然而,这种工具在开发和本地调试大型连接的m/r管道时非常有用。

这是为了开发目的(我不想在真实集群中可视化分布式键/值hadoop数据)。

签出

逐步监视作业执行
-带结果的工作流:显示MapReduce作业每个步骤的结果输出。
-桌面Hadoop日志:从桌面轻松访问Hadoop日志。
-作业失败选项:允许指定作业失败选项,例如在EMR作业失败时自动调用指定脚本


谢谢-看起来像一个很重的工具。。。关于我如何使用karma sphere来解决我的具体问题,有什么具体的细节吗?对不起,但我意识到karma sphere并没有做我需要的事情,尽管它似乎做了。它只能在k-sphere中执行作业时监视和浏览作业数据。我想要一个更无状态和模块化的工具,我认为kaashpere是有限制的。我想要一个轻量级的jar文件,它是模块化和可扩展的——我有二进制序列化的节俭数据,等等。。。。似乎因果报应范例对于启动新的代码库比调试现有代码库更好。