运行pig时如何查看所有Hadoop计数器

运行pig时如何查看所有Hadoop计数器,hadoop,apache-pig,Hadoop,Apache Pig,我通过命令行运行pig,希望在运行完成后看到所有Hadoop计数器。 我已经编写了基于此写入Hadoop计数器的UDF,但我想测试它-当清管器启动时,我可以看到构造函数中的日志,但后来我看不到日志 目前我所看到的只是简单的静态-见下文 Counters: Total records written : 3487 Total bytes written : 38078 Spillable Memory Manager spill count : 0 Total bags proactively s

我通过命令行运行pig,希望在运行完成后看到所有Hadoop计数器。 我已经编写了基于此写入Hadoop计数器的UDF,但我想测试它-当清管器启动时,我可以看到构造函数中的日志,但后来我看不到日志

目前我所看到的只是简单的静态-见下文

Counters:
Total records written : 3487
Total bytes written : 38078
Spillable Memory Manager spill count : 0
Total bags proactively spilled: 101
Total records proactively spilled: 12464701

Pig作业实际上是一个MapReduce作业,因此您可以从JobTracker页(如果使用MR1)或应用程序母版页(如果使用纱线)中查看作业的状态及其计数器的完整列表。

一个Pig脚本可能会创建多个作业,具体取决于复杂程度。通过运行以下命令,可以从命令行查询每个作业的所有计数器

mapred job -status <job-id>
映射作业-状态
如果您知道您感兴趣的实际计数器,您可以使用

mapred job -counter <job-id> <group-name> <counter-name>
映射作业-计数器
当然,您需要知道作业id——这些id应该在“作业DAG:”行后面的原始清管器输出中可用