Scala &引用;类org.apache.hadoop.fs.s3a.S3AFileSystem找不到“;带sbt组件的fatjar

Scala &引用;类org.apache.hadoop.fs.s3a.S3AFileSystem找不到“;带sbt组件的fatjar,scala,sbt,apache-flink,Scala,Sbt,Apache Flink,我正在Scala中构建一个在Flink集群上运行的作业,它将数据存储在AWS S3中,我遇到了一些与依赖项相关的问题 我已经检查了前面提出的大部分问题,为了解决这个问题,我需要将flink-s3-fs-hadoop-1.9.1.jarjar文件添加到$flink_HOME/plugins中,以便成功运行我的作业: 我的问题是,这是否应该被检测为在由sbt程序集生成的fatjar中?这些文件在jar中,但由于某些原因,Flink集群无法看到它们 我知道文档中说,flink-s3-fs-hadoop

我正在Scala中构建一个在Flink集群上运行的作业,它将数据存储在AWS S3中,我遇到了一些与依赖项相关的问题

我已经检查了前面提出的大部分问题,为了解决这个问题,我需要将
flink-s3-fs-hadoop-1.9.1.jar
jar文件添加到
$flink_HOME/plugins
中,以便成功运行我的作业:

我的问题是,这是否应该被检测为在由
sbt程序集生成的fatjar中?这些文件在jar中,但由于某些原因,Flink集群无法看到它们


我知道文档中说,
flink-s3-fs-hadoop-1.9.1.jar
应该下载到
$flink_HOME/plugins
文件夹。

文件系统不能捆绑在用户jar中,它们必须在/lib或/plugins中。 使用文件系统的组件不一定知道用户jar