Java 在低级别上对Hadoop作业进行基准测试
我必须记录几个基准变量。不幸的是,有些变量需要我在hadoop代码中执行度量(map()、reduce()、InputFormat等)。我想知道什么是“正确”的方法。我可以使用全局变量来存储基准变量,并在Tool.run()完成之前转储它们,但我认为有更好的方法。有人知道怎么做,或者有什么想法吗 更新Java 在低级别上对Hadoop作业进行基准测试,java,hadoop,benchmarking,low-level,Java,Hadoop,Benchmarking,Low Level,我必须记录几个基准变量。不幸的是,有些变量需要我在hadoop代码中执行度量(map()、reduce()、InputFormat等)。我想知道什么是“正确”的方法。我可以使用全局变量来存储基准变量,并在Tool.run()完成之前转储它们,但我认为有更好的方法。有人知道怎么做,或者有什么想法吗 更新 由于一些限制,基准代码必须嵌入hadoop中。我有一个“tester”应用程序,它运行许多hadoop作业并收集基准测试结果。其思想是在一次“测试仪”运行中运行作业并从作业执行中收集基准数据。没有
由于一些限制,基准代码必须嵌入hadoop中。我有一个“tester”应用程序,它运行许多hadoop作业并收集基准测试结果。其思想是在一次“测试仪”运行中运行作业并从作业执行中收集基准数据。没有任何东西可以阻止您独立于MapReduce对这些方法进行基准测试。M/R不是魔术——它只是一个JVM,在服务器上为您运行一些代码
我们一直对单个Map和Reduce函数运行JUnit测试。对他们进行分析没有什么实质性的不同。我还不清楚我的缺点。基准代码必须嵌入hadoop中。我会更新这个问题。