Apache spark 如何将logstash输出链接到spark输入
我正在处理一些日志，我正在使用logstash从日志文件中读取日志，并在推送到弹性搜索数据库之前对其进行过滤。 然而，我想用我存储在postgres db中的一些数据来丰富日志信息，所以我考虑在两者之间使用spark 是否可以将logstash输出提供给spark，然后丰富我的数据，然后将其推送到弹性搜索Apache spark 如何将logstash输出链接到spark输入,apache-spark,logstash,elastic-stack,Apache Spark,Logstash,Elastic Stack,我正在处理一些日志，我正在使用logstash从日志文件中读取日志，并在推送到弹性搜索数据库之前对其进行过滤。 然而，我想用我存储在postgres db中的一些数据来丰富日志信息，所以我考虑在两者之间使用spark 是否可以将logstash输出提供给spark，然后丰富我的数据，然后将其推送到弹性搜索 非常感谢您的帮助。使用Logstash的卡夫卡输出插件，将卡夫卡中的数据读取到Spark卡夫卡接收器中，丰富您的数据。扩展后，您可以调用弹性搜索批量发布文档或单个文档，并使用RESTAPI对它
非常感谢您的帮助。使用Logstash的卡夫卡输出插件，将卡夫卡中的数据读取到Spark卡夫卡接收器中，丰富您的数据。扩展后，您可以调用弹性搜索批量发布文档或单个文档，并使用RESTAPI对它们进行索引