Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/gwt/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache flink Flink:延迟操作处理_Apache Flink - Fatal编程技术网

Apache flink Flink:延迟操作处理

Apache flink Flink:延迟操作处理,apache-flink,Apache Flink,必须触发Flinks程序的执行,例如使用execute()。否则Flink只会创建一个新的执行计划,对吗?我的问题是:在处理惰性操作而不触发执行时,Flink的哪些组件被激活 根据本文,有一个优化器负责构建数据流图。是否涉及更多流程 有没有办法找出优化器进程的id来监视它 Flink数据集程序在触发执行时进行优化。以前,程序仅通过将运算符和数据接收器附加到其他运算符和数据源来构造 在将程序提交给JobManager进程之前,在客户端进程中进行优化。这意味着,没有可以监控的专用优化器流程 程序翻译

必须触发Flinks程序的执行,例如使用
execute()
。否则Flink只会创建一个新的执行计划,对吗?我的问题是:在处理惰性操作而不触发执行时,Flink的哪些组件被激活

根据本文,有一个优化器负责构建数据流图。是否涉及更多流程


有没有办法找出优化器进程的id来监视它

Flink数据集程序在触发执行时进行优化。以前,程序仅通过将运算符和数据接收器附加到其他运算符和数据源来构造

在将程序提交给JobManager进程之前,在客户端进程中进行优化。这意味着,没有可以监控的专用优化器流程

程序翻译分多个步骤完成:

  • 使用DataSet API构建程序
  • 转换为通用API
  • 程序优化
  • 作业图生成

  • JobGraph是JobManager计划执行的数据流表示。

    那么Flink的哪个组件负责程序构造(在执行触发之前)?是编译器吗?这通常发生在数据集程序的
    main
    方法中。当您调用
    myData.map(new MyMapper())
    时,您将创建一个MapOperator,它附加到另一个操作符或源(此处称为myData)中。程序是通过创建源、运算符和接收器来构建的。调用
    execute()
    时,这些运算符将被转换为通用API、优化并转换为JobGraph。