Apache nifi 拆分一张唱片并将其传递给PublishKafka

Apache nifi 拆分一张唱片并将其传递给PublishKafka,apache-nifi,Apache Nifi,我有以20171102-logs.log格式保存的日志文件 我试图将这些日志传递给卡夫卡主题,但是它们对于为主题定义的参数来说太大了。允许的文件大小无法更改,因此我正在尝试拆分文件。我试过几种不同的方法,但我运气不好。文件中包含的日志采用以下格式: {"date":"2017-11-02T12:33:55Z", "module":"java", "version":"1.8.0.45", "node":"node-name", "username":"user"} 如果您的日志文件每行包含一条

我有以20171102-logs.log格式保存的日志文件

我试图将这些日志传递给卡夫卡主题,但是它们对于为主题定义的参数来说太大了。允许的文件大小无法更改,因此我正在尝试拆分文件。我试过几种不同的方法,但我运气不好。文件中包含的日志采用以下格式:

{"date":"2017-11-02T12:33:55Z", "module":"java", "version":"1.8.0.45", "node":"node-name", "username":"user"}

如果您的日志文件每行包含一条日志消息,并用新行分隔,那么您可以使用PublishKafka,通过按shift+enter作为值将“消息标界器”设置为新行


这将使处理器根据标界器读取文件,并为文件中的每个日志消息向Kafka发布消息。

您能从日志文件中再添加几行吗?感谢您的快速回复。我试过了,但现在我遇到了一个新错误:TimeoutException:在5000毫秒后更新元数据失败。我认为这表明与Kafka的连接存在问题,您能在问题中加入stacktrace以便我们看到完整错误吗?@quiver13:您有正确的代理url(主机名+端口)吗?