elasticsearch Filebeats不';福沃德码头工人撰写日志,为什么?,elasticsearch,docker,logstash,docker-compose,filebeat,elasticsearch,Docker,Logstash,Docker Compose,Filebeat" /> elasticsearch Filebeats不';福沃德码头工人撰写日志,为什么?,elasticsearch,docker,logstash,docker-compose,filebeat,elasticsearch,Docker,Logstash,Docker Compose,Filebeat" />

elasticsearch Filebeats不';福沃德码头工人撰写日志,为什么?

elasticsearch Filebeats不';福沃德码头工人撰写日志,为什么?,elasticsearch,docker,logstash,docker-compose,filebeat,elasticsearch,Docker,Logstash,Docker Compose,Filebeat,下面我将使用Beatfile作为转发器设置一个ELK堆栈(VPS B),该堆栈将接收一些Docker/Docker compose images日志(VPS a),我的图表如下所示 到目前为止,我已经设法使所有带有绿色记号的接口都能正常工作。然而,还有一些问题我无法理解。因此,如果有人能帮我一点忙,我将不胜感激 我的主要问题是我没有从VPSA获取任何Docker/Docker compose日志到VPSB的Filebeat服务器;尽管如此,我还是从VPSA获得了其他日志,如VPSB的Fileb

下面我将使用Beatfile作为转发器设置一个ELK堆栈(VPS B),该堆栈将接收一些Docker/Docker compose images日志(VPS a),我的图表如下所示

到目前为止,我已经设法使所有带有绿色记号的接口都能正常工作。然而,还有一些问题我无法理解。因此,如果有人能帮我一点忙,我将不胜感激

我的主要问题是我没有从VPSA获取任何Docker/Docker compose日志到VPSB的Filebeat服务器;尽管如此,我还是从VPSA获得了其他日志,如VPSB的Filebeat服务器上的rsyslog、身份验证日志等。我已经将docker compose文件配置为使用rsyslog作为日志驱动程序转发日志,然后filebeat将该系统日志转发给VPSB。说到这里,我确实看到了docker守护进程本身的日志,比如虚拟接口的上/下、启动进程等等,但没有看到容器本身的“调试”日志

VPSA中Filebeat客户端的配置如下所示

root@VPSA:/etc/filebeat# cat filebeat.yml 
filebeat:
  prospectors:
    -
      paths:
        - /var/log/auth.log
        - /var/log/syslog
#        - /var/log/*.log


      input_type: log

      document_type: syslog

  registry_file: /var/lib/filebeat/registry

output:
  logstash:
    hosts: ["ipVPSB:5044"]
    bulk_max_size: 2048

    tls:
      certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]

shipper:

logging:
  files:
    rotateeverybytes: 10485760 # = 10MB
    level: debug
redis:
    logging: 
       driver: syslog
       options:
           syslog-facility: user 
docker compose日志记录驱动程序之一如下所示

root@VPSA:/etc/filebeat# cat filebeat.yml 
filebeat:
  prospectors:
    -
      paths:
        - /var/log/auth.log
        - /var/log/syslog
#        - /var/log/*.log


      input_type: log

      document_type: syslog

  registry_file: /var/lib/filebeat/registry

output:
  logstash:
    hosts: ["ipVPSB:5044"]
    bulk_max_size: 2048

    tls:
      certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]

shipper:

logging:
  files:
    rotateeverybytes: 10485760 # = 10MB
    level: debug
redis:
    logging: 
       driver: syslog
       options:
           syslog-facility: user 
最后,我想问一下,是否可以从docker composer以本机方式将日志转发到VPSA中的Filebeat客户端(图中的红色箭头),以便将它们转发到我的VPSB

多谢各位


问候

问题似乎出现在FileBeat VPSA中,因为它必须从系统日志收集数据,所以必须在该系统日志之前运行

更新rc.d使其工作

sudo update-rc.d filebeat defaults 95 10
如果有人需要,我的文件beats.yml

root@VPSA:/etc/filebeat# cat filebeat.yml 
filebeat:
  prospectors:
    -
      paths:
#        - /var/log/auth.log
        - /var/log/syslog
#        - /var/log/*.log


      input_type: log
      ignore_older: 24h
      scan_frequency: 10s      
      document_type: syslog

  registry_file: /var/lib/filebeat/registry

output:
  logstash:
    hosts: ["ipVPSB:5044"]
    bulk_max_size: 2048

    tls:
      certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]

shipper:

logging:
  level: debug
  to_files: true
  to_syslog: false
  files:
    path: /var/log/mybeat
    name: mybeat.log
    keepfiles: 7
    rotateeverybytes: 10485760 # = 10MB
问候