Apache flink 如何将ApacheFlink上传的jar文件存储在kuberntes的nfs路径中
我正在kubernetes v1.15.2中使用ApacheFlink v1.10.0,现在我可以成功运行flink作业并保存历史记录任务。现在的问题是我上传的jar存储在ApacheFlink的pod中。因为pods主机存储只有很小的40GB,已经使用了30GB+。现在我希望上传的jar可以存储在NFS中。我已经在当前taskmanager的pod的Apache flink 如何将ApacheFlink上传的jar文件存储在kuberntes的nfs路径中,apache-flink,Apache Flink,我正在kubernetes v1.15.2中使用ApacheFlink v1.10.0,现在我可以成功运行flink作业并保存历史记录任务。现在的问题是我上传的jar存储在ApacheFlink的pod中。因为pods主机存储只有很小的40GB,已经使用了30GB+。现在我希望上传的jar可以存储在NFS中。我已经在当前taskmanager的pod的/opt/data目录中安装了PV,但是该文件没有存储在NFS中 我应该编写什么配置来将上传的jar文件存储在NFS中并释放主机空间?这是我当前的
/opt/data
目录中安装了PV,但是该文件没有存储在NFS中
我应该编写什么配置来将上传的jar文件存储在NFS中并释放主机空间?这是我当前的配置:
web.upload.dir: /opt/flink/data/jars
我尝试使用此选项,但失败:
web.upload.dir: file:///opt/flink/data/jars
但是像这样的检查点商店起了作用:
env.setStateBackend(new FsStateBackend("file:///opt/flink/data"));
那我该怎么办?谢谢这是当前存储的文件:
我想你的目录名有问题 您已在以下位置创建PV:
/opt/data
。但是您的配置在以下位置定义目录路径:/opt/flink/data/jars
。将配置路径更改为/opt/data/jars
可能有效
注意:运行Flink的用户应具有对该文件夹的写入权限
以下是您可以执行的调试操作:
/opt/flink/data/jars
目录。或者使用目录上载web前端JAR文件。
或
为web前端JAR文件上载创建了目录。
或
Jar上载目录无法创建或不可写。
Using directory <dir_name> for web frontend JAR file uploads.
Created directory <dir_name> for web frontend JAR file uploads.
Jar upload directory <dir_name> cannot be created or is not writable.