Apache flink 如果我为Flink检查点配置了本地文件系统,会发生什么?

Apache flink 如果我为Flink检查点配置了本地文件系统,会发生什么?,apache-flink,flink-streaming,checkpointing,Apache Flink,Flink Streaming,Checkpointing,我在ApacheFlink-ZiLi(Gordon)Tai中看到了一段名为《管理国家》的视频。 在这种情况下,它使用分布式文件系统存储数据 我想知道如果我为Flink检查点配置了本地文件系统会发生什么 例如: 我假设Flink集群的每个节点都会保留自己的数据。这样行吗 我假设Flink集群的每个节点都会保留自己的数据 这是正确的 这样行吗 使用本地文件系统和分布式节点,您可能可以很好地检查点(即使这还不确定,因为目录可能是由JobManager创建的,因此TaskManager实例可能会因目录不

我在ApacheFlink-ZiLi(Gordon)Tai中看到了一段名为《管理国家》的视频。 在这种情况下,它使用分布式文件系统存储数据

我想知道如果我为Flink检查点配置了本地文件系统会发生什么

例如:

我假设Flink集群的每个节点都会保留自己的数据。这样行吗

我假设Flink集群的每个节点都会保留自己的数据

这是正确的

这样行吗

使用本地文件系统和分布式节点,您可能可以很好地检查点(即使这还不确定,因为目录可能是由
JobManager
创建的,因此
TaskManager
实例可能会因目录不存在而失败),但是您将无法恢复,作业管理器读取并根据需要将其分发给操作员

严格地说,文件系统是本地的还是分发给
flink
,并不重要。重要的是,
JobManager
as restore time能够查看所有检查点数据。如果您在同一台机器上运行所有内容,那么本地文件系统就可以正常工作

我认为,原则上,您甚至可以让所有节点在本地写入数据,然后手动使用同步过程将数据移动到
JobManager
在尝试恢复期间可以看到的位置,但这肯定不是推荐的方法

env.setStateBackend(new RocksDBStateBackend(getString("flie:///tmp/checkpoints"), true));