Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 使用卡夫卡作为源时,Flink StreamingEnvironment不会终止_Apache Kafka_Apache Flink_Flink Streaming - Fatal编程技术网

Apache kafka 使用卡夫卡作为源时,Flink StreamingEnvironment不会终止

Apache kafka 使用卡夫卡作为源时,Flink StreamingEnvironment不会终止,apache-kafka,apache-flink,flink-streaming,Apache Kafka,Apache Flink,Flink Streaming,我正在使用Flink作为流媒体应用程序。当从集合或列表创建流时,应用程序终止,“env.execute”之后的所有内容都正常执行 我需要为流使用不同的源。更准确地说,我使用卡夫卡作为源代码(env.addSource(…))。在这种情况下,程序只是在到达流的末尾时阻塞 我为我的流创建了一个合适的反序列化模式,它有一个额外的事件来表示流的结束 我知道isEndOfStream()条件在这一点上成功(在这种情况下,我在屏幕上打印了一条适当的消息) 在这一点上,程序只是停止,什么也不做,因此“exec

我正在使用Flink作为流媒体应用程序。当从
集合
列表
创建流时,应用程序终止,“env.execute”之后的所有内容都正常执行

我需要为流使用不同的源。更准确地说,我使用卡夫卡作为源代码(
env.addSource(…)
)。在这种情况下,程序只是在到达流的末尾时阻塞

我为我的流创建了一个合适的
反序列化模式
,它有一个额外的事件来表示流的结束

我知道
isEndOfStream()
条件在这一点上成功(在这种情况下,我在屏幕上打印了一条适当的消息)

在这一点上,程序只是停止,什么也不做,因此“execute”行后面的命令不在我的处理范围之内

我使用的是
Flink 1.7.2
Flink-connector-kafka_2.11
,带有
Scala 2.11.12
。我正在使用IntelliJ环境和Maven执行

在研究过程中,我发现了一个建议,即在获取流末尾时抛出异常(使用模式的功能)。这不支持我的目标,因为我在环境的执行中还有更多需要执行的操作符/命令(此时确实正确执行)。如果我选择通过抛出一个异常来中断程序,我将丢失所有其他内容

在执行行之后,我使用
.getNetRuntime()
函数测量流中运算符的运行时间


我需要有
StreamingEnvironment
结束,就像使用列表作为源一样。例如,在这一点上有没有办法删除卡夫卡?

看看:谢谢你的回复。不幸的是,正如post声明的那样,
FlinkConnector09
已经获得了获取程序文件。我正在使用最新的1.0连接器。因为注意到它可能有一些问题,所以我可以使用0.11连接器。我找不到使用这种循环的文件。如果有这样一个循环,my
isEndOfStream()
函数就会像帖子所建议的那样工作……似乎在使用
.addSource(Kafka…).setParallelism(1)
时,环境终止,执行正常继续。看一看:感谢您的回复。不幸的是,正如post声明的那样,
FlinkConnector09
已经获得了获取程序文件。我正在使用最新的1.0连接器。因为注意到它可能有一些问题,所以我可以使用0.11连接器。我找不到使用这种循环的文件。如果有这样一个循环,my
isEndOfStream()
函数就会像帖子所建议的那样工作……似乎在使用
.addSource(Kafka…).setParallelism(1)
时,环境会终止,执行会正常继续。