Google bigquery google cloud composer BigQuery跨数据集加载
我正在尝试运行一个简单的select查询(来自biqquery),并使用Composer将结果集加载到另一个bq表中。但是,我在代码的最后一行遇到了一个错误 损坏的DAG:[/home/afflow/gcs/dags/es_tc_etl_wkf_mtly.py]无效语法(es_tc_etl_wkf_mtly.py,第47行) 代码:Google bigquery google cloud composer BigQuery跨数据集加载,google-bigquery,google-cloud-composer,airflow-operator,Google Bigquery,Google Cloud Composer,Airflow Operator,我正在尝试运行一个简单的select查询(来自biqquery),并使用Composer将结果集加载到另一个bq表中。但是,我在代码的最后一行遇到了一个错误 损坏的DAG:[/home/afflow/gcs/dags/es_tc_etl_wkf_mtly.py]无效语法(es_tc_etl_wkf_mtly.py,第47行) 代码: import airflow from airflow import DAG from airflow.operators.bash_operator import
import airflow
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.contrib.operators import bigquery_operator
from datetime import timedelta
default_args = {
'start_date': airflow.utils.dates.days_ago(0),
'retries': 1,
'retry_delay': timedelta(minutes=5)
}
dag = DAG(
'es_tc_etl_wkf',
default_args=default_args,
description='Job monitoring dag',
schedule_interval=None,
dagrun_timeout=timedelta(minutes=20))
# priority_weight has type int in Airflow DB, uses the maximum.
t1 = bigquery_operator.BigQueryOperator(
task_id='bq_recent_questions_query',
bql="""
select * from bigquery.table.`projectid`.dataset_id.table_A;
""",`enter code here`
use_legacy_sql=False,
destination_dataset_table=dataset_id.table_B)
您有一个额外的
在此处输入代码
,未分配给任何已识别的参数bql
已经存在,建议使用sql
。此外,查询语句中的整个数据集应包含在回号(`)中
bql(可以接收表示sql语句的str,str列表
(sql语句),或对模板文件的引用。模板引用
可通过以“.sql.”结尾的str识别。)–(已弃用。请使用sql
参数)要执行的sql代码(模板化)
应用我上面提到的建议后,t1应该是这样的
t1 = bigquery_operator.BigQueryOperator(
task_id='bq_recent_questions_query',
sql="""
select * from `bigquery.table.projectid.dataset_id.table_A`;
""",
use_legacy_sql=False,
destination_dataset_table=dataset_id.table_B)
有关BigQueryOperator的示例用法,请参见此