Apache flink 如何将ApacheFlink上传的jar文件存储在kuberntes的nfs路径中

Apache flink 如何将ApacheFlink上传的jar文件存储在kuberntes的nfs路径中,apache-flink,Apache Flink,我正在kubernetes v1.15.2中使用ApacheFlink v1.10.0,现在我可以成功运行flink作业并保存历史记录任务。现在的问题是我上传的jar存储在ApacheFlink的pod中。因为pods主机存储只有很小的40GB,已经使用了30GB+。现在我希望上传的jar可以存储在NFS中。我已经在当前taskmanager的pod的/opt/data目录中安装了PV,但是该文件没有存储在NFS中 我应该编写什么配置来将上传的jar文件存储在NFS中并释放主机空间?这是我当前的

我正在kubernetes v1.15.2中使用ApacheFlink v1.10.0,现在我可以成功运行flink作业并保存历史记录任务。现在的问题是我上传的jar存储在ApacheFlink的pod中。因为pods主机存储只有很小的40GB,已经使用了30GB+。现在我希望上传的jar可以存储在NFS中。我已经在当前taskmanager的pod的
/opt/data
目录中安装了PV,但是该文件没有存储在NFS中

我应该编写什么配置来将上传的jar文件存储在NFS中并释放主机空间?这是我当前的配置:

web.upload.dir: /opt/flink/data/jars
我尝试使用此选项,但失败:

web.upload.dir: file:///opt/flink/data/jars
但是像这样的检查点商店起了作用:

env.setStateBackend(new FsStateBackend("file:///opt/flink/data"));
那我该怎么办?谢谢这是当前存储的文件:


我想你的目录名有问题

您已在以下位置创建PV:
/opt/data
。但是您的配置在以下位置定义目录路径:
/opt/flink/data/jars
。将配置路径更改为
/opt/data/jars
可能有效

注意:运行Flink的用户应具有对该文件夹的写入权限

以下是您可以执行的调试操作:

  • 您可以查看
    /opt/flink/data/jars
    目录。或者
  • 您可以检查以下日志消息之一(信息级别):
  • 使用目录上载web前端JAR文件。
    

    为web前端JAR文件上载创建了目录。
    

    Jar上载目录无法创建或不可写。
    
    Using directory <dir_name> for web frontend JAR file uploads.
    
    Created directory <dir_name> for web frontend JAR file uploads.
    
    Jar upload directory <dir_name> cannot be created or is not writable.