Apache flink Flink S3 Hadoop 2.8.0

Apache flink Flink S3 Hadoop 2.8.0,apache-flink,flink-streaming,flink-cep,Apache Flink,Flink Streaming,Flink Cep,我们试图将S3用于Flink后端状态和检查点,并在法兰克福使用了一个bucket(V4身份验证),它给出了我在这里发布的错误(),这是由于hadoop造成的。但是Hadoop2.8.0可以工作,但是还没有Flink支持 我想我的问题是什么时候Flink会提供基于hadoop 2.8.0的版本?一旦hadoop版本发布,Flink可能会提供hadoop 2.8.0版本 同时,您可以使用自定义Hadoop版本自行构建Flink: mvn干净安装-DskipTests-Dhadoop.version=

我们试图将S3用于Flink后端状态和检查点,并在法兰克福使用了一个bucket(V4身份验证),它给出了我在这里发布的错误(),这是由于hadoop造成的。但是Hadoop2.8.0可以工作,但是还没有Flink支持


我想我的问题是什么时候Flink会提供基于hadoop 2.8.0的版本?

一旦hadoop版本发布,Flink可能会提供hadoop 2.8.0版本

同时,您可以使用自定义Hadoop版本自行构建Flink:

mvn干净安装-DskipTests-Dhadoop.version=2.8.0

Hadoop 2.7.x确实适用于法兰克福和v4 API端点。如果您遇到问题,请检查您的joda time版本,因为旧joda time jar和Java版本的奇怪组合会导致AWS获取错误格式的时间戳,然后在无处不在的“bad auth”消息中拒绝该时间戳。

谢谢!期待着正式发布。我们现在正在发货,虽然它仍然稳定。我使用hadoop 2.7.3,但出现了错误,只是将AWS、http*和jackson libs从share/hadoop/hdfs/lib复制到share/hadoop/common/lib,因为它抱怨找不到它们。使用hadoop 2.8,我做了同样的事情,第一次就成功了。