Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/366.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 在低级别上对Hadoop作业进行基准测试_Java_Hadoop_Benchmarking_Low Level - Fatal编程技术网

Java 在低级别上对Hadoop作业进行基准测试

Java 在低级别上对Hadoop作业进行基准测试,java,hadoop,benchmarking,low-level,Java,Hadoop,Benchmarking,Low Level,我必须记录几个基准变量。不幸的是,有些变量需要我在hadoop代码中执行度量(map()、reduce()、InputFormat等)。我想知道什么是“正确”的方法。我可以使用全局变量来存储基准变量,并在Tool.run()完成之前转储它们,但我认为有更好的方法。有人知道怎么做,或者有什么想法吗 更新 由于一些限制,基准代码必须嵌入hadoop中。我有一个“tester”应用程序,它运行许多hadoop作业并收集基准测试结果。其思想是在一次“测试仪”运行中运行作业并从作业执行中收集基准数据。没有

我必须记录几个基准变量。不幸的是,有些变量需要我在hadoop代码中执行度量(map()、reduce()、InputFormat等)。我想知道什么是“正确”的方法。我可以使用全局变量来存储基准变量,并在Tool.run()完成之前转储它们,但我认为有更好的方法。有人知道怎么做,或者有什么想法吗

更新


由于一些限制,基准代码必须嵌入hadoop中。我有一个“tester”应用程序,它运行许多hadoop作业并收集基准测试结果。其思想是在一次“测试仪”运行中运行作业并从作业执行中收集基准数据。

没有任何东西可以阻止您独立于MapReduce对这些方法进行基准测试。M/R不是魔术——它只是一个JVM,在服务器上为您运行一些代码


我们一直对单个Map和Reduce函数运行JUnit测试。对他们进行分析没有什么实质性的不同。

我还不清楚我的缺点。基准代码必须嵌入hadoop中。我会更新这个问题。