rabbitmq/logstash丢失消息
我有一个rabbitmq，它成功地存储了消息，但我读取队列的日志存储忽略了我的大部分消息 RabbitMQ正常，我有一个小python脚本来显示所有消息rabbitmq/logstash丢失消息,rabbitmq,logstash,pika,Rabbitmq,Logstash,Pika,我有一个rabbitmq，它成功地存储了消息，但我读取队列的日志存储忽略了我的大部分消息 RabbitMQ正常，我有一个小python脚本来显示所有消息 import pika i=0 def on_message(channel, method_frame, header_frame, body): global i print i print("Message body", body) channel.basic_ack(delivery_tag=method
import pika
i=0
def on_message(channel, method_frame, header_frame, body):
global i
print i
print("Message body", body)
channel.basic_ack(delivery_tag=method_frame.delivery_tag)
i+=1
credentials = pika.PlainCredentials('***', '***')
parameters = pika.ConnectionParameters('***',5672,'logstash', credentials=credentials)
connection = pika.BlockingConnection(parameters)
channel = connection.channel()
channel.exchange_declare(exchange="logstash", exchange_type="topic", passive=False, durable=True, auto_delete=False)
channel.queue_declare(queue="hbbtv", auto_delete=False, durable=True)
channel.queue_bind(queue="hbbtv", exchange="logstash", routing_key="hbbtv")
channel.basic_qos(prefetch_count=1)
channel.basic_consume(on_message, 'hbbtv')
try:
channel.start_consuming()
except KeyboardInterrupt:
channel.stop_consuming()
connection.close()
- 很多信息丢失了
- 即使 它是完整的
rabbitmq {
host=>"arte-elasticlog.sdv.fr"
user=>"***"
password=>"***"
queue=>"hbbtv"
vhost=>"logstash"
port=>5672
auto_delete=>false
durable=>true
type => "rabbit_hbbtv"
}
_grokparsefailure表示无法分析邮件。这意味着邮件已成功从队列中读取，但您的grok表达式有问题或无法应用于邮件内容 还有一件事是rabbitmq输入的默认编解码器是“json”，如果您的rabbitmq消息内容不是json，您应该将输入的编解码器设置为例如：
编解码器=>普通{}问题是由于我的日志存储过滤器， 我有两个apache访问权限，但模式不同，因此当logstash尝试解析消息时，有时他在ES中有良好的模式-->而有时没有-->无消息 现在，对于所有不同的日志，我添加（添加字段）
application-->"my application name"