Apache flink 运行多个flink作业(在flink群集上)时出现问题
各位 我们很少有flink作业—作为独立的可执行jar构建 每个flink作业都使用以下命令运行-Apache flink 运行多个flink作业(在flink群集上)时出现问题,apache-flink,Apache Flink,各位 我们很少有flink作业—作为独立的可执行jar构建 每个flink作业都使用以下命令运行- > StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); > > try { > env.execute("FLINK-JOB"); > } catch (Exception ex) { >
> StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
>
> try {
> env.execute("FLINK-JOB");
> } catch (Exception ex) {
> // Some message
> }
但是当我们部署这些Flink作业(总共5个)时,只有一个运行,另一个关闭
我们的部署方式是通过bin/flink运行
非常感谢我想您可能正在使用flink standalone的默认启动方法,通过bin/start cluster.sh和bin/stop cluster.sh。此方法依赖于conf/masters和conf/workers来确定集群组件实例的数量,taskmanager的默认数量只有1个,带有1个插槽 当作业并行度只有一个时,只能运行一个作业(当作业并行度大于一个时,任何作业都不能运行)。如果没有足够的taskmanager(插槽),则无法运行足够的作业(每个作业至少需要一个插槽)
我猜您可能正在使用flink standalone的默认启动方法,通过bin/start cluster.sh和bin/stop cluster.sh。此方法依赖于conf/masters和conf/workers来确定集群组件实例的数量,taskmanager的默认数量只有1个,带有1个插槽 当作业并行度只有一个时,只能运行一个作业(当作业并行度大于一个时,任何作业都不能运行)。如果没有足够的taskmanager(插槽),则无法运行足够的作业(每个作业至少需要一个插槽)
您在jobmanager日志中看到了什么?资源是否用完了?例如,插槽不够?最好不要从
env.execute()
捕获异常。如果您在那里抛出异常,Flink会将其写入日志,通常会使您更容易看到。您在jobmanager日志中看到了什么?您是否耗尽了资源?例如,插槽不够?最好不要从env.execute()
捕获异常。如果您在那里抛出异常,Flink会将其写入日志,通常会使您易于查看。