Apache flink 如何在Flink中附加到文件接收器
我使用的是Flink1.12,我有以下简单的代码片段。每次运行程序时,我都想在Apache flink 如何在Flink中附加到文件接收器,apache-flink,Apache Flink,我使用的是Flink1.12,我有以下简单的代码片段。每次运行程序时,我都想在D:/Sql004\u ConnectFileReadAndWrite.csv中添加一些数据 当我运行程序时,我发现只有当文件第一次不存在时,数据才能被写入。但我希望在再次运行应用程序时附加数据 我会问,即使文件已经存在,如何将数据附加到文件中 import org.apache.flink.streaming.api.scala._ import org.apache.flink.table.api.DataType
D:/Sql004\u ConnectFileReadAndWrite.csv
中添加一些数据
当我运行程序时,我发现只有当文件第一次不存在时,数据才能被写入。但我希望在再次运行应用程序时附加数据
我会问,即使文件已经存在,如何将数据附加到文件中
import org.apache.flink.streaming.api.scala._
import org.apache.flink.table.api.DataTypes
import org.apache.flink.table.api.bridge.scala._
import org.apache.flink.table.descriptors.{Csv, FileSystem, Schema}
object Sql004_ConnectFileReadAndWrite {
def main(args: Array[String]): Unit = {
println("Sql004_ConnectFileReadAndWrite")
val env = StreamExecutionEnvironment.getExecutionEnvironment
env.setParallelism(1)
val tenv = StreamTableEnvironment.create(env)
val fmt = new Csv().fieldDelimiter(',').deriveSchema()
val schema = new Schema()
.field("a", DataTypes.STRING())
.field("b", DataTypes.STRING())
.field("c", DataTypes.STRING())
val path = "D:/Sql004_ConnectFileReadAndWrite.csv"
tenv.connect(new FileSystem().path(path)).withSchema(schema).withFormat(fmt).createTemporaryTable("sinkTable")
val sourceStream = env.fromElements(("a", "b", "c"), ("d", "e", "f"))
sourceStream.print()
val table = tenv.fromDataStream(sourceStream).as("c1", "c2", "c3")
table.executeInsert("sinkTable")
env.execute("Sql004_ConnectFileReadAndWrite")
}
}
Flink的文件系统抽象不支持附加到现有文件,或覆盖以前写入的部分数据。这是因为Flink希望将某些对象存储(例如S3)视为文件系统,只为所涉及的操作提供最终的一致性