Apache kafka 尝试升级到flink 1.3.1时出现异常

Apache kafka 尝试升级到flink 1.3.1时出现异常,apache-kafka,apache-flink,flink-streaming,Apache Kafka,Apache Flink,Flink Streaming,我试图将集群中的flink版本升级到1.3.1(以及1.3.2),但我的任务管理器中出现以下异常: 2018-02-28 12:57:27,120 ERROR org.apache.flink.streaming.runtime.tasks.StreamTask - Error during disposal of stream operator. org.apache.kafka.common.KafkaException: java.lang.InterruptedExc

我试图将集群中的flink版本升级到1.3.1(以及1.3.2),但我的任务管理器中出现以下异常:

2018-02-28 12:57:27,120 ERROR org.apache.flink.streaming.runtime.tasks.StreamTask           - Error during disposal of stream operator.
org.apache.kafka.common.KafkaException: java.lang.InterruptedException
        at org.apache.kafka.clients.producer.KafkaProducer.close(KafkaProducer.java:424)
        at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducerBase.close(FlinkKafkaProducerBase.java:317)
        at org.apache.flink.api.common.functions.util.FunctionUtils.closeFunction(FunctionUtils.java:43)
        at org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.dispose(AbstractUdfStreamOperator.java:126)
        at org.apache.flink.streaming.runtime.tasks.StreamTask.disposeAllOperators(StreamTask.java:429)
        at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:334)
        at org.apache.flink.runtime.taskmanager.Task.run(Task.java:702)
        at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.InterruptedException
        at java.lang.Object.wait(Native Method)
        at java.lang.Thread.join(Thread.java:1252)
        at java.lang.Thread.join(Thread.java:1326)
        at org.apache.kafka.clients.producer.KafkaProducer.close(KafkaProducer.java:422)
        ... 7 more
作业管理器显示它无法与任务管理器连接

我正在使用FlinkKafkaProducer08。
有什么想法吗?

首先,从上面的堆栈跟踪来看:它是在操作符清理非优雅终止时抛出的(否则此代码不会执行)。看起来似乎应该紧接着是导致初始问题的真正异常。你能提供日志的更多部分吗


如果JobManager未能连接到任何应运行作业的TaskManager,则整个作业将被取消(并根据重试策略重试)。同样的情况也可能发生在TaskManager端。这可能是根本原因,需要进一步调查。

我认为在flink 1.3.1中,他们试图在实际实例化运算符之前关闭运算符。我想问题出在卡夫卡制作人身上,我也遇到了这个问题,阻止我从1.2升级到1.3.1你运行的是哪个版本的卡夫卡?@diegoreico 0.8.2你启用了Flink检查点吗?请尝试添加更多关于你到底在做什么的信息,比如你如何连接卡夫卡的例子。