Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 从Spark结构化流作业写入时的增量表版本控制_Apache Spark_Databricks_Spark Structured Streaming_Delta Lake - Fatal编程技术网

Apache spark 从Spark结构化流作业写入时的增量表版本控制

Apache spark 从Spark结构化流作业写入时的增量表版本控制,apache-spark,databricks,spark-structured-streaming,delta-lake,Apache Spark,Databricks,Spark Structured Streaming,Delta Lake,从Spark结构化流媒体作业写入增量表是否会为写入的每个微批次数据创建一个版本?来自文档: 当您写入增量表或目录时,每个操作都是 自动版本控制 所以,是的,你是对的 获取数据: 使用时间戳 使用版本号 参考:

从Spark结构化流媒体作业写入增量表是否会为写入的每个微批次数据创建一个版本?

来自文档:

当您写入增量表或目录时,每个操作都是 自动版本控制

所以,是的,你是对的

获取数据:

  • 使用时间戳

  • 使用版本号

参考: