Apache flink 当存在BucketingLink时,为什么我们需要StreamingFileLink?

Apache flink 当存在BucketingLink时,为什么我们需要StreamingFileLink?,apache-flink,flink-streaming,Apache Flink,Flink Streaming,我发现BucketingSink可以做任何事情,比如将事件写入本地文件、NAS或HDFS文件。我原以为BucketingSink只能将事件写入HDFS,而不能写入NAS或本地文件,但有些函数StreamingFileSink没有提供BucketingSink提供的功能,例如StreamingFileSink无法设置文件的前缀和后缀,但是BucketingSink可以设置,那么当存在BucketingSink时,为什么我们需要StreamingFileSink呢?StreamingFileSink

我发现BucketingSink可以做任何事情,比如将事件写入本地文件、NAS或HDFS文件。我原以为BucketingSink只能将事件写入HDFS,而不能写入NAS或本地文件,但有些函数StreamingFileSink没有提供BucketingSink提供的功能,例如StreamingFileSink无法设置文件的前缀和后缀,但是BucketingSink可以设置,那么当存在BucketingSink时,为什么我们需要StreamingFileSink呢?

StreamingFileSink是一个最终将取代BucketingSink的新接收器。BucketingSink对S3的一致性输出有一些主要限制,支持拼花地板和ORC等不重新设计就无法解决的阻塞格式。StreamingFileLink实现了这一新设计

但是,正如您在当前状态Flink 1.6中所注意到的,StreamingFileLink还不支持BucketingSink的所有功能