Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 从Spark ETL重置BigQuery表_Apache Spark_Pyspark_Google Bigquery_Spark Dataframe_Etl - Fatal编程技术网

Apache spark 从Spark ETL重置BigQuery表

Apache spark 从Spark ETL重置BigQuery表,apache-spark,pyspark,google-bigquery,spark-dataframe,etl,Apache Spark,Pyspark,Google Bigquery,Spark Dataframe,Etl,我有个问题要问你。如果我有一个内置的ETL Databricks,它正在将数据加载到BigQuery中,但我希望在每次运行ETL之前删除BigQuery表,这可能吗?对不起,我是新手!谢谢 加载数据时,在configuration.load property of jobs.insert下有两个属性(以及许多其他属性)可用于控制加载到的表的内容和方式: [可选]指定目标表已存在时发生的操作 支持以下值: WRITE_TRUNCATE:如果表已经存在,BigQuery将覆盖表数据。 WRITE_

我有个问题要问你。如果我有一个内置的ETL Databricks,它正在将数据加载到BigQuery中,但我希望在每次运行ETL之前删除BigQuery表,这可能吗?对不起,我是新手!谢谢

加载数据时,在configuration.load property of jobs.insert下有两个属性(以及许多其他属性)可用于控制加载到的表的内容和方式:

[可选]指定目标表已存在时发生的操作

支持以下值:
WRITE_TRUNCATE:如果表已经存在,BigQuery将覆盖表数据。 WRITE_APPEND:如果表已经存在,BigQuery会将数据追加到表中。
WRITE_EMPTY:如果表已经存在并且包含数据,则在作业结果中返回“duplicate”错误。
默认值为WRITE\u APPEND

每个操作都是原子的,只有在BigQuery能够成功完成作业时才会发生。创建、截断和追加操作在作业完成时作为一个原子更新发生

[可选]指定是否允许作业创建新表

支持以下值:
需要时创建:如果表不存在,BigQuery将创建表。
CREATE_NEVER:表必须已经存在。如果未找到,则在作业结果中返回“notFound”错误。
默认值为CREATE_(如果需要)

创建、截断和追加操作在作业完成时作为一个原子更新发生


因此,
WRITE\u TRUNCATE
是加载数据时要查找的内容

在configuration.load property of jobs.insert下有两个属性(以及许多其他属性)可用于控制加载到的表的内容和方式:

[可选]指定目标表已存在时发生的操作

支持以下值:
WRITE_TRUNCATE:如果表已经存在,BigQuery将覆盖表数据。 WRITE_APPEND:如果表已经存在,BigQuery会将数据追加到表中。
WRITE_EMPTY:如果表已经存在并且包含数据,则在作业结果中返回“duplicate”错误。
默认值为WRITE\u APPEND

每个操作都是原子的,只有在BigQuery能够成功完成作业时才会发生。创建、截断和追加操作在作业完成时作为一个原子更新发生

[可选]指定是否允许作业创建新表

支持以下值:
需要时创建:如果表不存在,BigQuery将创建表。
CREATE_NEVER:表必须已经存在。如果未找到,则在作业结果中返回“notFound”错误。
默认值为CREATE_(如果需要)

创建、截断和追加操作在作业完成时作为一个原子更新发生

因此,
WRITE\u TRUNCATE
是您要寻找的