Apache spark 为什么writeStream不以增量格式编写，即使我已经编写了它

这是我的密码。writeStream以“parquet”格式写入记录，但不是以“delta”格式，尽管我已经提到了delta格式

spark
.readStream
.format("delta")
.option("latestFirst","true")
.option("ignoreDeletes", "true")
.option("ignoreChanges","true")
.load("/mnt/data-lake/data/bronze/accounts")
.writeStream
.format("delta")
.outputMode("append")
.option("checkpointLocation","/mnt/data-lake/tmp/chkpnt_accounts_inserts")
.option("path","/mnt/data-lake/tmp/accounts_inserts")
.start()

---

根据原始海报的评论分享答案

没有“delta格式”，而是在_delta_log目录中有事务日志的拼花地板。如果存在此目录，则可能使用增量格式

spark
.readStream
.format("delta")
.option("latestFirst","true")
.option("ignoreDeletes", "true")
.option("ignoreChanges","true")
.load("/mnt/data-lake/data/bronze/accounts")
.writeStream
.format("delta")
.outputMode("append")
.option("checkpointLocation","/mnt/data-lake/tmp/chkpnt_accounts_inserts")
.option("path","/mnt/data-lake/tmp/accounts_inserts")
.start()

---

我提到的delta是我们给出的“delta”格式。我仍然明白这是拼花地板的形式。但是，我的问题在下一次运行中得到了解决，并创建了_delta_log目录。

“delta格式”？没有“delta格式”，而是在

\u delta\u log

目录中有事务日志的拼花地板。如果存在此目录，则可能使用增量格式。你能在

/mnt/data lake/tmp/accounts\u inserts

目录中显示文件和目录吗？你说得对。我提到的delta是我们给出的“delta”格式。我仍然明白这是拼花地板的形式。但是，我的问题在下一次运行中得到了解决，并创建了_delta_log目录。不知道为什么第一次就没有发生！看来你已经自己解决了。如果你认为有什么可以帮你的，请告诉我们。如果不是，介意关闭问题（作为用户错误）？当然。我们可以关闭此问题。谢谢。@DonSam你想把它作为答案贴出来，这样你就可以把这个问题标记为已回答了吗？