Apache spark 从Spark ETL重置BigQuery表
我有个问题要问你。如果我有一个内置的ETL Databricks,它正在将数据加载到BigQuery中,但我希望在每次运行ETL之前删除BigQuery表,这可能吗?对不起,我是新手!谢谢 加载数据时,在configuration.load property of jobs.insert下有两个属性(以及许多其他属性)可用于控制加载到的表的内容和方式: [可选]指定目标表已存在时发生的操作 支持以下值:Apache spark 从Spark ETL重置BigQuery表,apache-spark,pyspark,google-bigquery,spark-dataframe,etl,Apache Spark,Pyspark,Google Bigquery,Spark Dataframe,Etl,我有个问题要问你。如果我有一个内置的ETL Databricks,它正在将数据加载到BigQuery中,但我希望在每次运行ETL之前删除BigQuery表,这可能吗?对不起,我是新手!谢谢 加载数据时,在configuration.load property of jobs.insert下有两个属性(以及许多其他属性)可用于控制加载到的表的内容和方式: [可选]指定目标表已存在时发生的操作 支持以下值: WRITE_TRUNCATE:如果表已经存在,BigQuery将覆盖表数据。 WRITE_
WRITE_TRUNCATE:如果表已经存在,BigQuery将覆盖表数据。 WRITE_APPEND:如果表已经存在,BigQuery会将数据追加到表中。
WRITE_EMPTY:如果表已经存在并且包含数据,则在作业结果中返回“duplicate”错误。
默认值为WRITE\u APPEND 每个操作都是原子的,只有在BigQuery能够成功完成作业时才会发生。创建、截断和追加操作在作业完成时作为一个原子更新发生 及 [可选]指定是否允许作业创建新表 支持以下值:
需要时创建:如果表不存在,BigQuery将创建表。
CREATE_NEVER:表必须已经存在。如果未找到,则在作业结果中返回“notFound”错误。
默认值为CREATE_(如果需要) 创建、截断和追加操作在作业完成时作为一个原子更新发生
因此,
WRITE\u TRUNCATE
是加载数据时要查找的内容在configuration.load property of jobs.insert下有两个属性(以及许多其他属性)可用于控制加载到的表的内容和方式:
[可选]指定目标表已存在时发生的操作
支持以下值:WRITE_TRUNCATE:如果表已经存在,BigQuery将覆盖表数据。 WRITE_APPEND:如果表已经存在,BigQuery会将数据追加到表中。
WRITE_EMPTY:如果表已经存在并且包含数据,则在作业结果中返回“duplicate”错误。
默认值为WRITE\u APPEND 每个操作都是原子的,只有在BigQuery能够成功完成作业时才会发生。创建、截断和追加操作在作业完成时作为一个原子更新发生 及 [可选]指定是否允许作业创建新表 支持以下值:
需要时创建:如果表不存在,BigQuery将创建表。
CREATE_NEVER:表必须已经存在。如果未找到,则在作业结果中返回“notFound”错误。
默认值为CREATE_(如果需要) 创建、截断和追加操作在作业完成时作为一个原子更新发生 因此,
WRITE\u TRUNCATE
是您要寻找的