Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/neo4j/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark DBT源(未在_字段加载_)基于元数据的下游表的新鲜度_Apache Spark_Apache Spark Sql_Databricks_Dbt - Fatal编程技术网

Apache spark DBT源(未在_字段加载_)基于元数据的下游表的新鲜度

Apache spark DBT源(未在_字段加载_)基于元数据的下游表的新鲜度,apache-spark,apache-spark-sql,databricks,dbt,Apache Spark,Apache Spark Sql,Databricks,Dbt,我正在使用dbt Spark。我们每天将一些源增量表复制到Spark Data Lake。 我的源表没有在_field处加载字段来确定新鲜度,因此我想从源增量表元数据中添加副本更新时间(例如,可以使用sql命令%sql descripe detail”获取源表更新时间)。 我可以在dbt中添加元数据查询作为源,但该源不会是我的下游表sql查询的一部分。 如何将此元数据查询作为依赖项添加到下游表中 我可以组合源表和源元数据来添加update_date列,并使下游表从组合的源表中读取

我正在使用dbt Spark。我们每天将一些源增量表复制到Spark Data Lake。 我的源表没有在_field处加载字段来确定新鲜度,因此我想从源增量表元数据中添加副本更新时间(例如,可以使用sql命令
%sql descripe detail”
获取源表更新时间)。 我可以在dbt中添加元数据查询作为源,但该源不会是我的下游表sql查询的一部分。 如何将此元数据查询作为依赖项添加到下游表中

我可以组合源表和源元数据来添加update_date列,并使下游表从组合的源表中读取