Apache flink 如何在Flink中附加到文件接收器

Apache flink 如何在Flink中附加到文件接收器,apache-flink,Apache Flink,我使用的是Flink1.12,我有以下简单的代码片段。每次运行程序时,我都想在D:/Sql004\u ConnectFileReadAndWrite.csv中添加一些数据 当我运行程序时,我发现只有当文件第一次不存在时,数据才能被写入。但我希望在再次运行应用程序时附加数据 我会问,即使文件已经存在,如何将数据附加到文件中 import org.apache.flink.streaming.api.scala._ import org.apache.flink.table.api.DataType

我使用的是Flink1.12,我有以下简单的代码片段。每次运行程序时,我都想在
D:/Sql004\u ConnectFileReadAndWrite.csv
中添加一些数据

当我运行程序时,我发现只有当文件第一次不存在时,数据才能被写入。但我希望在再次运行应用程序时附加数据

我会问,即使文件已经存在,如何将数据附加到文件中

import org.apache.flink.streaming.api.scala._
import org.apache.flink.table.api.DataTypes
import org.apache.flink.table.api.bridge.scala._
import org.apache.flink.table.descriptors.{Csv, FileSystem, Schema}

object Sql004_ConnectFileReadAndWrite {
  def main(args: Array[String]): Unit = {
    println("Sql004_ConnectFileReadAndWrite")
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)
    val tenv = StreamTableEnvironment.create(env)
    val fmt = new Csv().fieldDelimiter(',').deriveSchema()
    val schema = new Schema()
      .field("a", DataTypes.STRING())
      .field("b", DataTypes.STRING())
      .field("c", DataTypes.STRING())
    val path = "D:/Sql004_ConnectFileReadAndWrite.csv"
    tenv.connect(new FileSystem().path(path)).withSchema(schema).withFormat(fmt).createTemporaryTable("sinkTable")



    val sourceStream = env.fromElements(("a", "b", "c"), ("d", "e", "f"))

    sourceStream.print()

    val table = tenv.fromDataStream(sourceStream).as("c1", "c2", "c3")
    table.executeInsert("sinkTable")
    env.execute("Sql004_ConnectFileReadAndWrite")

  }

}

Flink的文件系统抽象不支持附加到现有文件,或覆盖以前写入的部分数据。这是因为Flink希望将某些对象存储(例如S3)视为文件系统,只为所涉及的操作提供最终的一致性