Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/shell/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Pyspark databricks delta在哪里存储它';什么是元数据?_Pyspark_Metadata_Azure Databricks_Delta_Delta Lake - Fatal编程技术网

Pyspark databricks delta在哪里存储它';什么是元数据?

Pyspark databricks delta在哪里存储它';什么是元数据?,pyspark,metadata,azure-databricks,delta,delta-lake,Pyspark,Metadata,Azure Databricks,Delta,Delta Lake,配置单元存储它的元数据,我是像SQL server一样的外部数据库。与databricks delta在何处存储其元数据信息类似?databricks delta在文件系统上存储其元数据。它们只是json格式(对于每个事务)或拼花格式(对于某些版本的表元数据快照)的文件。元数据只是与数据文件一起存储的。您可以看到在增量表目录中有一个名为“_delta_log”的目录。如果使用S3存储数据,元数据也在S3上。但是,元数据不能存储在数据库中,因为这是不可伸缩的。。。理解

配置单元存储它的元数据,我是像SQL server一样的外部数据库。与databricks delta在何处存储其元数据信息类似?

databricks delta在文件系统上存储其元数据。它们只是json格式(对于每个事务)或拼花格式(对于某些版本的表元数据快照)的文件。

元数据只是与数据文件一起存储的。您可以看到在增量表目录中有一个名为“_delta_log”的目录。如果使用S3存储数据,元数据也在S3上。但是,元数据不能存储在数据库中,因为这是不可伸缩的。。。理解