Apache flink 使用Flink LocalEnvironment进行生产

Apache flink 使用Flink LocalEnvironment进行生产,apache-flink,Apache Flink,我想了解LocalExecutionEnvironment的局限性,以及它是否可以在生产环境中运行 感谢您的帮助/见解。感谢您,LocalExecutionEnvironment启动了一个Flink微型集群,它在单个JVM中运行整个Flink系统(JobManager、TaskManager)。因此,这台机器上的可用CPU内核和内存有限。您也没有来自多个工作经理的HA。我没有研究过微型集群环境的其他限制,但我确信还有更多限制。LocalExecutionEnvironment启动了一个Flink

我想了解LocalExecutionEnvironment的局限性,以及它是否可以在生产环境中运行


感谢您的帮助/见解。感谢您,LocalExecutionEnvironment启动了一个Flink微型集群,它在单个JVM中运行整个Flink系统(JobManager、TaskManager)。因此,这台机器上的可用CPU内核和内存有限。您也没有来自多个工作经理的HA。我没有研究过微型集群环境的其他限制,但我确信还有更多限制。

LocalExecutionEnvironment启动了一个Flink微型集群,它在单个JVM中运行整个Flink系统(JobManager、TaskManager)。因此,这台机器上的可用CPU内核和内存有限。您也没有来自多个工作经理的HA。我没有研究过MiniCluster环境的其他限制,但我确信还有更多限制。

LocalExecutionEnvironment在启动时不会加载配置文件,因此您必须在应用程序中进行所有配置。默认情况下,它也不提供REST端点。您可以通过以下方式解决这两个问题:

String cwd = Paths.get(".").toAbsolutePath().normalize().toString();
Configuration conf = GlobalConfiguration.loadConfiguration(cwd);
env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf);
日志记录可能是另一个需要解决的问题


我不相信您能够使用Flink CLI来控制作业,但是如果您创建Web UI(如上所示),您至少可以使用REST API来执行触发保存点之类的操作(在首次使用REST API获取作业ID之后)。

LocalExecutionEnvironment不会在启动时加载配置文件,因此,您必须在应用程序中执行所有配置。默认情况下,它也不提供REST端点。您可以通过以下方式解决这两个问题:

String cwd = Paths.get(".").toAbsolutePath().normalize().toString();
Configuration conf = GlobalConfiguration.loadConfiguration(cwd);
env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf);
日志记录可能是另一个需要解决的问题

我不相信您能够使用Flink CLI来控制作业,但是如果您创建Web UI(如上所示),您至少可以使用REST API来执行触发保存点之类的操作(在首先使用REST API获取作业ID之后)