Apache flink 运行多个flink作业(在flink群集上)时出现问题

Apache flink 运行多个flink作业(在flink群集上)时出现问题,apache-flink,Apache Flink,各位 我们很少有flink作业—作为独立的可执行jar构建 每个flink作业都使用以下命令运行- > StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); > > try { > env.execute("FLINK-JOB"); > } catch (Exception ex) { >

各位

我们很少有flink作业—作为独立的可执行jar构建

每个flink作业都使用以下命令运行-

>  StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
> 
> try {
>             env.execute("FLINK-JOB");
>         } catch (Exception ex) {
>             // Some message
>         }
但是当我们部署这些Flink作业(总共5个)时,只有一个运行,另一个关闭

我们的部署方式是通过bin/flink运行


非常感谢

我想您可能正在使用flink standalone的默认启动方法,通过bin/start cluster.shbin/stop cluster.sh。此方法依赖于conf/mastersconf/workers来确定集群组件实例的数量,taskmanager的默认数量只有1个,带有1个插槽

当作业并行度只有一个时,只能运行一个作业(当作业并行度大于一个时,任何作业都不能运行)。如果没有足够的taskmanager(插槽),则无法运行足够的作业(每个作业至少需要一个插槽)


我猜您可能正在使用flink standalone的默认启动方法,通过bin/start cluster.shbin/stop cluster.sh。此方法依赖于conf/mastersconf/workers来确定集群组件实例的数量,taskmanager的默认数量只有1个,带有1个插槽

当作业并行度只有一个时,只能运行一个作业(当作业并行度大于一个时,任何作业都不能运行)。如果没有足够的taskmanager(插槽),则无法运行足够的作业(每个作业至少需要一个插槽)


您在jobmanager日志中看到了什么?资源是否用完了?例如,插槽不够?最好不要从
env.execute()
捕获异常。如果您在那里抛出异常,Flink会将其写入日志,通常会使您更容易看到。您在jobmanager日志中看到了什么?您是否耗尽了资源?例如,插槽不够?最好不要从
env.execute()
捕获异常。如果您在那里抛出异常,Flink会将其写入日志,通常会使您易于查看。