Log4j Logstash Kafka集成不起作用

我们希望使用logstash获取日志并将其传递给卡夫卡。

我们已经为logstash1.5.0beta1和kafka 2.9.2_0.8.1.1编写了以下conf文件

**

**

运行以下命令后：bin/logstash agent-f test.conf--log ex.log

test.conf是我们的conf文件。 log是我们为要存储的日志创建的空白文件

我们得到以下输出

正在将日志存储日志发送到ex.log。 使用里程碑2输入插件“文件”。这个插件应该是稳定的，但如果你看到奇怪的行为，请让我们知道！有关插件里程碑的更多信息，请参见{:level=>：warn} 使用里程碑1输出插件“kafka”。这个插件应该可以工作，但会从像你这样的人的使用中受益。请让我们知道，如果你发现错误或有如何改进这个插件的建议。有关插件里程碑的更多信息，请参见{:level=>：warn} log4j:WARN找不到记录器的附加程序（kafka.utils.VerifiableProperties）。 log4j：警告请正确初始化log4j系统。 log4j:WARN有关更多信息，请参见http://logging.apache.org/log4j/1.2/faq.html#noconfig。 SLF4J:未能加载类“org.SLF4J.impl.StaticLoggerBinder”。 SLF4J:默认为无操作（NOP）记录器实现 SLF4J：有关更多详细信息，请参见http://www.SLF4J.org/codes.html#StaticLoggerBinder。

我们尝试在bashrc中设置类路径。不起作用。 请告诉我们哪里出了问题。

---

提前谢谢你

一些您可以检查的内容： 主题示例1可用吗？如果没有，您是否在卡夫卡中使用了自动创建？检查现有主题，如：

bin/kafka-topics.sh --list --zookeeper localhost:2181

示例1应该在返回的项目之间，如果不是，您也可以手动创建主题

bin/kafktopics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic example1

要查看卡夫卡是否收到启动消费者的消息，请执行以下操作：

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic example1

我启动了一个简单的logstash实例，它在中侦听标准，并使用consumer查看消息是否到达kafka。这是我的日志存储配置：

input {
        stdin { }
}

output {
    kafka {
        codec => plain {
            format => "%{message}"
        }
        topic_id => "example1"
    }
}

---

希望这有帮助

这只是对卡夫卡插件日志记录的警告。我怀疑这会影响它的功能。但我们的日志无论如何都不会被传递给卡夫卡消费者。您好。谢谢你的帮助！这起作用了！！：）我们需要从文件中获取输入。我们不知道如何做到这一点。你能帮忙吗？我们认为我们需要修改kafka-console-consumer.sh，因为该文件从控制台获取输入。我们解决了这个问题！谢谢！！：你是怎么决定的？您可以发布解决方案吗？在您将kafka作为输出的输出中，请帮助我将elasticsearch配置为此处的输出。

input {
        stdin { }
}

output {
    kafka {
        codec => plain {
            format => "%{message}"
        }
        topic_id => "example1"
    }
}