Apache kafka 获取重试回退错误并在marathon上不重新启动kafka流
我们有高可用性的卡夫卡。我们在多个主题上运行多个卡夫卡流和spark作业 但是，我们发现了一个发送记录的奇怪问题。我们收到的错误是这样的 由于{}，任务[0_4]将记录（键27314 value example.jar.class时间戳1535741326818）发送到主题名时出错；不会发送更多记录，也不会为此任务记录更多偏移量。 您可以增加生产者参数Apache kafka 获取重试回退错误并在marathon上不重新启动kafka流,apache-kafka,apache-kafka-streams,Apache Kafka,Apache Kafka Streams,我们有高可用性的卡夫卡。我们在多个主题上运行多个卡夫卡流和spark作业 但是，我们发现了一个发送记录的奇怪问题。我们收到的错误是这样的 由于{}，任务[0_4]将记录（键27314 value example.jar.class时间戳1535741326818）发送到主题名时出错；不会发送更多记录，也不会为此任务记录更多偏移量。 您可以增加生产者参数retries和retry.backoff.ms以避免此错误。 org.apache.kafka.streams.errors.StreamsEx
retriesretry.backoff.msretriesretry.backoff.msretries: 3
retry-backoff-ms: 20000
replication-factor: 1
reconnect-backoff-ms: 60000
max-poll-records: 1000
session-timeout-ms: 300000
因此，我想正确运行kafka流，或者在出现此类错误时自动重新启动marathon（最后一个选项）。如果kafka流中发生错误，则只有内部
StreamThreadKafkaStreams关于错误本身。这可能是一个已知的问题（请比较详细信息）。您可以尝试增加参数
request.timeout.msStreamThreadKafkaStreams关于错误本身。这可能是一个已知的问题（请比较详细信息）。您可以尝试增加参数request.timeout.ms作为解决方法。我也遇到了同样的问题。集群中有5个代理，主题的32个分区的复制因子为2
我忘了卡夫卡流创建内部主题。默认情况下，它们的复制因子为1。原因是，当我们试图杀死一个代理时，内部主题无法访问，因为它没有副本。因此，请尝试将内部主题的复制因子设置为与源主题的复制因子相同。我希望这会有帮助 我也面临同样的问题。集群中有5个代理，主题的32个分区的复制因子为2
我忘了卡夫卡流创建内部主题。默认情况下，它们的复制因子为1。原因是，当我们试图杀死一个代理时，内部主题无法访问，因为它没有副本。因此，请尝试将内部主题的复制因子设置为与源主题的复制因子相同。我希望这会有帮助 关于“相应地作出反应”。我已经注册了一个
uncaughtExceptionHandlerStreamThreadKafkaStreams#close（）uncaughtExceptionHandlerStreamThreadKafkaStreams#close（）