Apache spark 如何将流式查询的数据写入配置单元？

我正在使用Spark结构化流媒体从HDFS读取数据。我想把数据框保存到配置单元

我曾经这样做过，但这是错误的

totalSalary.write.format("csv").mode("append").saveAsTable("test")

---

totalySalary

不是一个

Dataframe

，而是一个

DStream

（）。该类不存在方法

write

这里有一个很好的例子：

---

tl；drSpark Structured Streaming不支持将流式查询的结果保存到配置单元

---

正如错误所说，

totalSalary

是一个流式数据帧，只支持

writeStream

---

主要问题是无法将流式查询的结果写入配置单元表。它根本不受支持（在

DataStreamWriter

上没有方法

saveAsTable

或类似方法）。

您能提供错误堆栈吗？您通常会将流写入存储并在itI上创建一个表。我用错误图像更新了问题。@rbcvlThanks获取帮助。是否可以在pyspark@rbcvl中执行此操作

val query = totalSalary.writeStream.foreachBatch((batchDs: Dataset[_], batchId: Long) => {
         batchDs.write
         .mode(append)
         .insertInto("test");
}).start()