Hadoop 从映射器登录到一个位置

Hadoop 从映射器登录到一个位置,hadoop,mapreduce,Hadoop,Mapreduce,我想知道制图员在特定时刻正在做什么。据我所知,他们都在将标准输出写入本地日志文件。在许多服务器上跟踪多个日志文件是不实际的。我想让所有映射器都写在一个地方(比如HDFS上的特定路径) 是否有任何内置功能或外部库可以帮助我实现这一点?对于外部库,您可以使用Flume()将所有这些日志传输到一个集中的位置,HDFS或本地文件 基本上,在所有机器上,flume代理都会运行并对日志文件执行“tail-f”,然后将它们传输到中心位置

我想知道制图员在特定时刻正在做什么。据我所知,他们都在将标准输出写入本地日志文件。在许多服务器上跟踪多个日志文件是不实际的。我想让所有映射器都写在一个地方(比如HDFS上的特定路径)


是否有任何内置功能或外部库可以帮助我实现这一点?

对于外部库,您可以使用Flume()将所有这些日志传输到一个集中的位置,HDFS或本地文件

基本上,在所有机器上,flume代理都会运行并对日志文件执行“tail-f”,然后将它们传输到中心位置