Google bigquery google cloud composer BigQuery跨数据集加载

Google bigquery google cloud composer BigQuery跨数据集加载,google-bigquery,google-cloud-composer,airflow-operator,Google Bigquery,Google Cloud Composer,Airflow Operator,我正在尝试运行一个简单的select查询(来自biqquery),并使用Composer将结果集加载到另一个bq表中。但是,我在代码的最后一行遇到了一个错误 损坏的DAG:[/home/afflow/gcs/dags/es_tc_etl_wkf_mtly.py]无效语法(es_tc_etl_wkf_mtly.py,第47行) 代码: import airflow from airflow import DAG from airflow.operators.bash_operator import

我正在尝试运行一个简单的select查询(来自biqquery),并使用Composer将结果集加载到另一个bq表中。但是,我在代码的最后一行遇到了一个错误

损坏的DAG:[/home/afflow/gcs/dags/es_tc_etl_wkf_mtly.py]无效语法(es_tc_etl_wkf_mtly.py,第47行)

代码:

import airflow
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.contrib.operators import bigquery_operator
from datetime import timedelta

default_args = {
    'start_date': airflow.utils.dates.days_ago(0),
    'retries': 1,
    'retry_delay': timedelta(minutes=5)
}

dag = DAG(
    'es_tc_etl_wkf',
    default_args=default_args,
    description='Job monitoring dag',
    schedule_interval=None,
    dagrun_timeout=timedelta(minutes=20))

# priority_weight has type int in Airflow DB, uses the maximum.
t1 = bigquery_operator.BigQueryOperator(
        task_id='bq_recent_questions_query',
        bql="""
        select * from bigquery.table.`projectid`.dataset_id.table_A;
        """,`enter code here`
        use_legacy_sql=False,
        destination_dataset_table=dataset_id.table_B)

您有一个额外的
在此处输入代码
,未分配给任何已识别的参数
bql
已经存在,建议使用
sql
。此外,查询语句中的整个数据集应包含在回号(`)中

bql(可以接收表示sql语句的str,str列表 (sql语句),或对模板文件的引用。模板引用 可通过以“.sql.”结尾的str识别。)–(已弃用。请使用sql 参数)要执行的sql代码(模板化)

应用我上面提到的建议后,t1应该是这样的

t1 = bigquery_operator.BigQueryOperator(
        task_id='bq_recent_questions_query',
        sql="""
        select * from `bigquery.table.projectid.dataset_id.table_A`;
        """,
        use_legacy_sql=False,
        destination_dataset_table=dataset_id.table_B)
有关BigQueryOperator的示例用法,请参见此