Apache flink 在flink作业的有效性方面,如:插入到hive_表中选择orgId,2.0,pdate,“02”from users limit 10000,其中用户是卡夫卡表

Apache flink 在flink作业的有效性方面,如:插入到hive_表中选择orgId,2.0,pdate,“02”from users limit 10000,其中用户是卡夫卡表,apache-flink,Apache Flink,系统应该只拾取10000条消息并完成。这就是永远在运行的东西。它接收78克的数据,并且永远持续。不知道这是否是默认行为。而且它从不在提交接收器中提交。 以上是在flink1.12 scala 2.12版本上运行的,其中包含所有hive 3.1.2 流文件接收器仅在检查点时提交。也许您需要启用和配置检查点。更麻烦的是,记录的10000个检查点从未提交到配置单元表中,数据都在hdfs系统中。请了解sql优化器是否无法停止作业。所有checkpont都是在flink-conf.yaml系统级别共同配置

系统应该只拾取10000条消息并完成。这就是永远在运行的东西。它接收78克的数据,并且永远持续。不知道这是否是默认行为。而且它从不在提交接收器中提交。 以上是在flink1.12 scala 2.12版本上运行的,其中包含所有hive 3.1.2


流文件接收器仅在检查点时提交。也许您需要启用和配置检查点。

更麻烦的是,记录的10000个检查点从未提交到配置单元表中,数据都在hdfs系统中。请了解sql优化器是否无法停止作业。所有checkpont都是在flink-conf.yaml系统级别共同配置到hdfs的。作业是通过flik sql客户端提交的。在flink-sql.yaml文件中配置检查点的正确方法是什么?请为flink sql客户端共享一个sql.yaml?