Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何使用logstash处理错误?_Logstash_Apache Kafka_Spark Streaming_Logstash Configuration - Fatal编程技术网

如何使用logstash处理错误?

如何使用logstash处理错误?,logstash,apache-kafka,spark-streaming,logstash-configuration,Logstash,Apache Kafka,Spark Streaming,Logstash Configuration,我只是有一个关于Logstash中错误处理的问题 例如,我有一个类似群集的 卡夫卡->日志存储->弹性搜索 这个日志库也连接到一个HDFS 所以 kafka->logstash->Elasticsearch 或 kafka->logstash->HDFS (顺便说一句,我从两个不同的主题中消费) 我的问题在这里;如果无法访问HDFS,并且elasticsearch的主题与HDFS相同,我如何停止使用卡夫卡中的HDFS主题 我确信,如果我使用Spark流而不是logstash,有一个错误处理系统可

我只是有一个关于Logstash中错误处理的问题

例如,我有一个类似群集的

卡夫卡->日志存储->弹性搜索

这个日志库也连接到一个HDFS

所以

kafka->logstash->Elasticsearchkafka->logstash->HDFS (顺便说一句,我从两个不同的主题中消费)

我的问题在这里;如果无法访问HDFS,并且elasticsearch的主题与HDFS相同,我如何停止使用卡夫卡中的HDFS主题

我确信,如果我使用Spark流而不是logstash,有一个错误处理系统可以让我这样做,但我根本不知道如何通过logstash来完成。你能给我一些关于那个的信息吗


谢谢大家

如果logstash无法写入输出,它将停止读取输入。你还需要更多吗?我想那可能足够了。如果卡夫卡的话题被忽略了会发生什么;抱歉。如果logstash无法写入输出,它将停止读取输入。你还需要更多吗?我想那可能足够了。如果卡夫卡的话题被忽略了会发生什么;很抱歉