Fatal编程技术网
  • scala/
  • Scala 火花：检查拼花地板书写是否成功

Scala 火花：检查拼花地板书写是否成功

scala apache-spark

Scala 火花：检查拼花地板书写是否成功,scala,apache-spark,Scala,Apache Spark,我有一个Spark 1.6.2（在Scala上）进程，它编写了一个拼花地板文件，当它完成时，它应该以数据帧的形式重新加载它。是否有一种Spark方法来检查DataFrameWriter是否成功完成并仅在完成后恢复？我曾尝试在Complete上使用Future和，但它与Spark不兼容（SparkContext被关闭） 我假设我可以在文件夹中查找\u SUCCESS文件并循环，直到它出现，但是如果进程受阻，我将有一个无限循环。数据写入不是同步的吗？我不确定。。听到了一些关于它的问题，尽管它可能必须

我有一个Spark 1.6.2（在Scala上）进程，它编写了一个拼花地板文件，当它完成时，它应该以
数据帧的形式重新加载它。是否有一种Spark方法来检查DataFrameWriter是否成功完成并仅在完成后恢复？我曾尝试在Complete上使用
Future
和
，但它与Spark不兼容（
SparkContext
被关闭）


我假设我可以在文件夹中查找
\u SUCCESS
文件并循环，直到它出现，但是如果进程受阻，我将有一个无限循环。
数据写入不是同步的吗？我不确定。。听到了一些关于它的问题，尽管它可能必须与Spark S3一起工作。。