需要Apache Flume配置文件的帮助吗

需要Apache Flume配置文件的帮助吗,apache,tomcat,hadoop,hdfs,flume,Apache,Tomcat,Hadoop,Hdfs,Flume,您好,我对多源日志服务器日志分析的flume配置没有什么疑问 我有两台apache服务器在linux服务器上运行。一个节点使用HDFS运行,所有守护进程都在同一个节点中运行 需要在其中安装flume节点,以捕获来自两台服务器的流日志并加载到HDFS DB中 请提供此场景的flume配置文件。如果我们想使用以下命令捕获流:tail-f/home/tomcat/webapps/logs/catalina.out 关于你的第一个问题: 1.需要在哪个节点上安装flume以捕获来自两台服务器的流日志并加

您好,我对多源日志服务器日志分析的flume配置没有什么疑问

我有两台apache服务器在linux服务器上运行。一个节点使用HDFS运行,所有守护进程都在同一个节点中运行

  • 需要在其中安装flume节点,以捕获来自两台服务器的流日志并加载到HDFS DB中
  • 请提供此场景的flume配置文件。如果我们想使用以下命令捕获流:tail-f/home/tomcat/webapps/logs/catalina.out

  • 关于你的第一个问题:

    1.需要在哪个节点上安装flume以捕获来自两台服务器的流日志并加载到HDFS DB中

    需要在每个apache服务器上安装Flume来读取apache日志,然后将记录发送到HDFS

    注意:在安装ApacheFlume以包含HDFS jar/插件时,不要忘记,这样在启动时,它会将记录发送到HDFS,而不会给您错误。还要确保ApacheTomcat节点上的flume可以访问HDFS节点及其运行端口

    关于你的第二个问题:

    2.请提供此场景的水槽配置文件。如果我们想使用以下命令捕获流:tail-f/home/tomcat/webapps/logs/catalina.out

    关于水槽配置,特别是“源”:以下是示例配置:

    # Describe/configure the source for tailing file
    agent.sources.SrcLog.type = exec
    agent.sources.SrcLog.command = tail -F /home/tomcat/webapps/logs/catalina.out
    agent.sources.SrcLog.restart = true
    agent.sources.SrcLog.restartThrottle = 1000
    agent.sources.SrcLog.logStdErr = true
    agent.sources.SrcLog.batchSize = 50
    

    要了解更多详细信息,请查看

    听起来您希望我们为您做一切。也许读一下文档,试着设置一下,然后问一些具体的问题,到底是什么困扰着你?