Apache spark DBT源(未在_字段加载_)基于元数据的下游表的新鲜度
我正在使用dbt Spark。我们每天将一些源增量表复制到Spark Data Lake。 我的源表没有在_field处加载字段来确定新鲜度,因此我想从源增量表元数据中添加副本更新时间(例如,可以使用sql命令Apache spark DBT源(未在_字段加载_)基于元数据的下游表的新鲜度,apache-spark,apache-spark-sql,databricks,dbt,Apache Spark,Apache Spark Sql,Databricks,Dbt,我正在使用dbt Spark。我们每天将一些源增量表复制到Spark Data Lake。 我的源表没有在_field处加载字段来确定新鲜度,因此我想从源增量表元数据中添加副本更新时间(例如,可以使用sql命令%sql descripe detail”获取源表更新时间)。 我可以在dbt中添加元数据查询作为源,但该源不会是我的下游表sql查询的一部分。 如何将此元数据查询作为依赖项添加到下游表中 我可以组合源表和源元数据来添加update_date列,并使下游表从组合的源表中读取
%sql descripe detail”
获取源表更新时间)。
我可以在dbt中添加元数据查询作为源,但该源不会是我的下游表sql查询的一部分。
如何将此元数据查询作为依赖项添加到下游表中
我可以组合源表和源元数据来添加update_date列,并使下游表从组合的源表中读取