Apache flink 将NFS与Ververica一起用于工件存储不工作,引发错误:找不到方案文件的合适工件获取程序
我正在尝试使用以下值设置Ververica community edition以将NFS用于工件存储。yamlApache flink 将NFS与Ververica一起用于工件存储不工作,引发错误:找不到方案文件的合适工件获取程序,apache-flink,Apache Flink,我正在尝试使用以下值设置Ververica community edition以将NFS用于工件存储。yaml vvp: blobStorage: baseUri: file:///var/nfs/export volumes: - name: nfs-volume nfs: server: "host.docker.internal" path: "/MOUNT_POINT" volumeMounts:
vvp:
blobStorage:
baseUri: file:///var/nfs/export
volumes:
- name: nfs-volume
nfs:
server: "host.docker.internal"
path: "/MOUNT_POINT"
volumeMounts:
- name: nfs-volume
mountPath: /var/nfs
部署flink作业时,请使用以下作业uri:
jarUri: file:///var/nfs/artifacts/namespaces/default/flink-job.jar
我能够在Ververica UI中看到我的工件,但是当我尝试部署flink作业时,它失败了,出现以下异常:
Error: No suitable artifact fetcher found for scheme file
完全错误:
Some pod containers have been restarted unexpectedly. Init containers reported the following reasons: [Error: No suitable artifact fetcher found for scheme file]. Please check the Kubernetes pod logs if your application does not reach its desired state.
如果我将文件://从jobURi删除到以下位置,那么作业容器将继续重新启动,而不会给出错误
jarUri: /var/nfs/artifacts/namespaces/default/flink-job.jar
作为补充说明,我还向deployment.yaml添加了以下内容,如果我将工件设置为从http端点拉取,那么它确实会在NFS中正确保存检查点,因此似乎唯一的问题是使用file://scheme从NFS加载工件
kubernetes:
pods:
volumeMounts:
- name: my-volume
volume:
name: my-volume
nfs:
path: /MOUNT_POINT
server: host.docker.internal
volumeMount:
mountPath: /var/nfs
name: my-volume
Ververica平台目前不支持用于通用Blob存储的NFS驱动器
但是,如果使用版本>=2.3.2,您可以像在检查点部署规范中所做的那样,通过将NFS驱动器装载到Flink吊舱来模拟此行为。这是因为2.3.2增加了对自包含和获取本地文件的支持。您可以在文档中看到更多信息Ververica平台目前不支持用于通用Blob存储的NFS驱动器
但是,如果使用版本>=2.3.2,您可以像在检查点部署规范中所做的那样,通过将NFS驱动器装载到Flink吊舱来模拟此行为。这是因为2.3.2增加了对自包含和获取本地文件的支持。您可以在文档中看到更多信息升级到2.3.2解决了此问题@苏嗨!我是Ververica的产品经理,有兴趣了解更多关于您的采用过程以及您使用Ververica平台CE的环境。如果您有时间快速致电分享一些反馈,请通过konstantinatververicadotcom通知我。升级到2.3.2解决了此问题@苏嗨!我是Ververica的产品经理,有兴趣了解更多关于您的采用过程以及您使用Ververica平台CE的环境。如果您有时间打个电话分享一些反馈,请通过KonstantinatServericadotcom告诉我。