Logging 来自mapper和reducer的EMR自定义日志记录
是否可以在EMR中使用来自映射器和还原器的自定义日志。。。。 假设我有一个映射器,它根据特定的条件遍历数据和过滤器 映射器代码(流)Logging 来自mapper和reducer的EMR自定义日志记录,logging,emr,Logging,Emr,是否可以在EMR中使用来自映射器和还原器的自定义日志。。。。 假设我有一个映射器,它根据特定的条件遍历数据和过滤器 映射器代码(流) 看输入行 如果useragent不正确-登录到自定义日志 否则就让它通过减速器 如何编写自定义日志并从该作业的日志目录中的所有映射程序获取合并日志 类似地,如果我想在reducer阶段完成一些日志记录 处理键的值(例如按日期时间排序) 如果一小时内发生的事件超过20个,则这是一个错误的用户日志-自定义日志 -否则就让它去输出 感谢您的帮助。 谢谢您可以使用
- 看输入行
- 如果useragent不正确-登录到自定义日志
- 否则就让它通过减速器
- 处理键的值(例如按日期时间排序)
- 如果一小时内发生的事件超过20个,则这是一个错误的用户日志-自定义日志 -否则就让它去输出
谢谢您可以使用多输出(新API)或多文件输出(旧API)写入多个输出。
将想要的记录写入不同的日志位置。如果您想要一个大日志文件,可以在作业完成后合并它们。要实现多个输出,请查看 Java api支持创建多个/命名的输出文件
在用ruby编写的流式代码中,我找不到任何方法来实现这一点。谢谢。有什么例子可以给我指一下吗。我尝试过搜索,但找不到任何..而且我正在使用Ruby中的流式作业作为我的EMR映射器和reducer