Snowflake cloud data platform dbt-阶段\外部\源-分区
我正在尝试对azure blob存储上交付的增量文件进行良好的分区 然而,我无法让分区列和表列发挥作用。 若我删除分区列,我将获得所有指定的表列。 若我有分区列,我只得到变量列和分区列Snowflake cloud data platform dbt-阶段\外部\源-分区,snowflake-cloud-data-platform,dbt,Snowflake Cloud Data Platform,Dbt,我正在尝试对azure blob存储上交付的增量文件进行良好的分区 然而,我无法让分区列和表列发挥作用。 若我删除分区列,我将获得所有指定的表列。 若我有分区列,我只得到变量列和分区列 - name: arsm external: location: '@my_azure_stage' file_format: 'myformat' pattern: '.*path.*tablename_.*' auto_refresh: false
- name: arsm
external:
location: '@my_azure_stage'
file_format: 'myformat'
pattern: '.*path.*tablename_.*'
auto_refresh: false # depends on your Azure setup
partitions: # optional
- name: LOAD_DATE
data_type: date
expression: TO_DATE(substring(metadata$filename,16,10))
columns:
- name: "AoNr"
data_type: bigint
- name: "AoNrAlfa"
data_type: varchar(65)
- name: "AoPos"
data_type: int
- name: "ArtikelVariant"
data_type: varchar(30)
- name: "ArtKalkBer"
data_type: NUMERIC
我认为您只需要将
列
数组减少两个空格。列
数组应该是源表的顶级键,与名称
和外部
处于同一级别;现在,您将其嵌套在外部
目录中。您是否确认myformat
正确解析了该文件?