Apache flink Flink:延迟操作处理
必须触发Flinks程序的执行,例如使用Apache flink Flink:延迟操作处理,apache-flink,Apache Flink,必须触发Flinks程序的执行,例如使用execute()。否则Flink只会创建一个新的执行计划,对吗?我的问题是:在处理惰性操作而不触发执行时,Flink的哪些组件被激活 根据本文,有一个优化器负责构建数据流图。是否涉及更多流程 有没有办法找出优化器进程的id来监视它 Flink数据集程序在触发执行时进行优化。以前,程序仅通过将运算符和数据接收器附加到其他运算符和数据源来构造 在将程序提交给JobManager进程之前,在客户端进程中进行优化。这意味着,没有可以监控的专用优化器流程 程序翻译
execute()
。否则Flink只会创建一个新的执行计划,对吗?我的问题是:在处理惰性操作而不触发执行时,Flink的哪些组件被激活
根据本文,有一个优化器负责构建数据流图。是否涉及更多流程
有没有办法找出优化器进程的id来监视它 Flink数据集程序在触发执行时进行优化。以前,程序仅通过将运算符和数据接收器附加到其他运算符和数据源来构造 在将程序提交给JobManager进程之前,在客户端进程中进行优化。这意味着,没有可以监控的专用优化器流程 程序翻译分多个步骤完成:
JobGraph是JobManager计划执行的数据流表示。那么Flink的哪个组件负责程序构造(在执行触发之前)?是编译器吗?这通常发生在数据集程序的
main
方法中。当您调用myData.map(new MyMapper())
时,您将创建一个MapOperator,它附加到另一个操作符或源(此处称为myData)中。程序是通过创建源、运算符和接收器来构建的。调用execute()
时,这些运算符将被转换为通用API、优化并转换为JobGraph。