Azure 如何将保留历史记录(时间戳和版本)的DataRicks表复制到新订阅中的另一个DataRicks?
目前,我正在将旧的Databricks环境迁移到新环境。由于有很多依赖关系,我们的目标是并行运行新旧环境,直到所有测试都通过为止。因此,我试图将Databricks表从旧环境复制到新环境。为了成功复制这些表,我尝试将Databricks表从旧订阅导出到帐户存储,并从帐户存储将它们导入到新的Databricks环境中 要复制到目前为止,我尝试:Azure 如何将保留历史记录(时间戳和版本)的DataRicks表复制到新订阅中的另一个DataRicks?,azure,pyspark,azure-storage,databricks,azure-databricks,Azure,Pyspark,Azure Storage,Databricks,Azure Databricks,目前,我正在将旧的Databricks环境迁移到新环境。由于有很多依赖关系,我们的目标是并行运行新旧环境,直到所有测试都通过为止。因此,我试图将Databricks表从旧环境复制到新环境。为了成功复制这些表,我尝试将Databricks表从旧订阅导出到帐户存储,并从帐户存储将它们导入到新的Databricks环境中 要复制到目前为止,我尝试: df.write.format(“delta”).save()、spark.read.format(“delta”).load()、df.write.fo
df.write.format(“delta”).save()、spark.read.format(“delta”).load()、df.write.format(“delta”).option(“path”、).saveAsTable()
DeltaTable.forPath(spark,)
dbutils.fs.cp(,)
sh cp--preserve=all-R
感谢所有的帮助和反馈。因为您在Azure上,所以您可以使用Azure Data Factory的数据复制工具,如中所述-增量表只是容器中的文件,此工具可以复制数据,并且可能比使用Databricks群集进行复制更便宜…因为您在Azure上,您可以使用Azure Data Factory的数据复制工具,如中所述-增量表只是容器中的文件,此工具可以复制数据,并且可能比使用DataRicks群集进行复制更便宜