Apache spark 在写入过程中终止会话时,Spark saveAsTable是否回滚?
使用saveAsTable追加到配置单元管理的表时,不完整的saveAsTable完成的工作是否会回滚,或者部分信息是否会保留?在使用spark写入表时,没有“回滚”的概念。保存表时,它不会创建事务表。如果在保存表时spark会话终止,则表将保持不可用状态。即使写入了部分数据,也可能无法读取部分写入的数据Apache spark 在写入过程中终止会话时,Spark saveAsTable是否回滚?,apache-spark,hive,hdfs,Apache Spark,Hive,Hdfs,使用saveAsTable追加到配置单元管理的表时,不完整的saveAsTable完成的工作是否会回滚,或者部分信息是否会保留?在使用spark写入表时,没有“回滚”的概念。保存表时,它不会创建事务表。如果在保存表时spark会话终止,则表将保持不可用状态。即使写入了部分数据,也可能无法读取部分写入的数据 但是,当您使用仅附加配置单元时,可以读取其余数据。我认为它将回滚,因为写入操作首先会执行到一个\u临时文件夹中,该文件夹只有在操作成功后才会提交。谢谢,您如何用@Philantrove所说的内
但是,当您使用仅附加配置单元时,可以读取其余数据。我认为它将回滚,因为写入操作首先会执行到一个
\u临时文件夹中,该文件夹只有在操作成功后才会提交。谢谢,您如何用@Philantrove所说的内容来整合这些数据?