Apache flink 弗林克作业图提交
我正试图将给定的SQL编译成Flink的作业图,并希望提交给ThreadApache flink 弗林克作业图提交,apache-flink,flink-streaming,flink-sql,Apache Flink,Flink Streaming,Flink Sql,我正试图将给定的SQL编译成Flink的作业图,并希望提交给Thread JobGraph jobGraph = streamExecutionEnv.getStreamGraph().getJobGraph(); YarnDeployer().deployJob(jobGraph); YarnDeployer是一个自定义类,它使用Flink的YarnClusterDescriptor和ClusterSpecificationAPI提交作业 在EMR中,我启动了Flink纱线会话,并使用Fl
JobGraph jobGraph = streamExecutionEnv.getStreamGraph().getJobGraph();
YarnDeployer().deployJob(jobGraph);
YarnDeployer
是一个自定义类,它使用Flink的YarnClusterDescriptor
和ClusterSpecification
API提交作业
在EMR中,我启动了Flink纱线会话,并使用Flink run提交作业
我得到以下错误:
该程序不包含Flink作业。可能您忘记在执行环境中调用execute()
是否可以在不执行的情况下运行JobGraph?我不想运行连续作业。我认为您必须调用env.execute(),否则流作业将无法执行。我将其视为引用请提供更多信息:您使用的源(e);你想避免什么;为什么不使用批处理而不是流式处理?仅供参考,Flink 1.10为作业提交和相关活动引入了新的界面。看,我混合了批处理源和流式源。如果我使用execute运行连续作业,则每个作业将单独运行,并且可能无法扩展。此外,若并没有来自流媒体源的消息,那个么容器将空闲运行。我的想法是定期向Thread提交SQL作业。