Hadoop 在哪里可以找到用于操作的Apache Spark度量?

Hadoop 在哪里可以找到用于操作的Apache Spark度量?,hadoop,apache-spark,metrics,amazon-emr,Hadoop,Apache Spark,Metrics,Amazon Emr,我正在写一篇论文,比较ApacheSpark和ApacheHadoop的MapReduce算法 为了支持我的结论,我使用AWS EMR~10节点和Hashtagtrending作为算法 在Hadoop MapReduce中,我可以获得map、reduce和shuffle任务的平均任务时间 在Spark中,我使用三种操作flatMap、filter(映射)和reduceByKey(还原) 收集Hadoop MapReduce中相同度量的最佳方法是什么? (总映射时间、总减少时间、总洗牌和排序时间)

我正在写一篇论文,比较ApacheSpark和ApacheHadoop的MapReduce算法

为了支持我的结论,我使用AWS EMR~10节点和Hashtagtrending作为算法

在Hadoop MapReduce中,我可以获得map、reduce和shuffle任务的平均任务时间

在Spark中,我使用三种操作flatMap、filter(映射)和reduceByKey(还原)

收集Hadoop MapReduce中相同度量的最佳方法是什么? (总映射时间、总减少时间、总洗牌和排序时间)