Azure 如何将保留历史记录(时间戳和版本)的DataRicks表复制到新订阅中的另一个DataRicks?

Azure 如何将保留历史记录(时间戳和版本)的DataRicks表复制到新订阅中的另一个DataRicks?,azure,pyspark,azure-storage,databricks,azure-databricks,Azure,Pyspark,Azure Storage,Databricks,Azure Databricks,目前,我正在将旧的Databricks环境迁移到新环境。由于有很多依赖关系,我们的目标是并行运行新旧环境,直到所有测试都通过为止。因此,我试图将Databricks表从旧环境复制到新环境。为了成功复制这些表,我尝试将Databricks表从旧订阅导出到帐户存储,并从帐户存储将它们导入到新的Databricks环境中 要复制到目前为止,我尝试: df.write.format(“delta”).save()、spark.read.format(“delta”).load()、df.write.fo

目前,我正在将旧的Databricks环境迁移到新环境。由于有很多依赖关系,我们的目标是并行运行新旧环境,直到所有测试都通过为止。因此,我试图将Databricks表从旧环境复制到新环境。为了成功复制这些表,我尝试将Databricks表从旧订阅导出到帐户存储,并从帐户存储将它们导入到新的Databricks环境中

要复制到目前为止,我尝试:

  • df.write.format(“delta”).save()、spark.read.format(“delta”).load()、df.write.format(“delta”).option(“path”、).saveAsTable()
  • DeltaTable.forPath(spark,)
  • dbutils.fs.cp(,)
  • sh cp--preserve=all-R
  • 正如我所预料的,由于数据帧的转换,第一个无法工作,这会使您丢失有关历史的信息。 第二种方法没有save方法来将DeltaTable保存到Databricks。 对于第三个和第四个选项,它们都保留版本历史编号,但不保留时间戳,这些时间戳将使用执行命令时的时间戳进行更新

    因此,我希望任何人都能帮助我找到一个解决方案,在保留整个历史记录的同时,将数据库中的DeltaTables从一个订阅复制到另一个订阅。因此,版本号以及时间戳


    感谢所有的帮助和反馈。

    因为您在Azure上,所以您可以使用Azure Data Factory的数据复制工具,如中所述-增量表只是容器中的文件,此工具可以复制数据,并且可能比使用Databricks群集进行复制更便宜…

    因为您在Azure上,您可以使用Azure Data Factory的数据复制工具,如中所述-增量表只是容器中的文件,此工具可以复制数据,并且可能比使用DataRicks群集进行复制更便宜