Google bigquery 如何从气流中的BigQuery获取查询结果,并将其附加到自动发送给我的电子邮件中
我想使用动态时间Google bigquery 如何从气流中的BigQuery获取查询结果,并将其附加到自动发送给我的电子邮件中,google-bigquery,airflow,Google Bigquery,Airflow,我想使用动态时间{{macros.ds\u add(ds,0)}},所以pandas\u gbq.read\u gbq不起作用 我还使用了BigQueryHook的get\u pandas\u df,它显示'BigQueryPandasConnector'对象没有属性'http\u error',文档说我需要重写DbApiHook方法,但我不知道如何操作 这个问题有什么解决办法吗?感谢你们的帮助,伙计们。使用BigQueryGetDataOperator。以下是一个例子: 示例: 官方文档:谢
{{macros.ds\u add(ds,0)}}
,所以pandas\u gbq.read\u gbq
不起作用
我还使用了BigQueryHook
的get\u pandas\u df
,它显示'BigQueryPandasConnector'
对象没有属性'http\u error'
,文档说我需要重写DbApiHook
方法,但我不知道如何操作
这个问题有什么解决办法吗?感谢你们的帮助,伙计们。使用
BigQueryGetDataOperator
。以下是一个例子:
示例:
官方文档:谢谢您的回答!Em…,有点小问题,我想通过SQL查询获取数据,但在本例中,它只提供选择作为字段。您可以使用
BigQueryOperator
将SQL放入其中,并作为目标表指定一个临时表。然后使用BigQueryGetDataOperator
从临时表中获取数据。谢谢,伙计,这是个好主意。还有一件事需要你的帮助,我怎样才能得到它在列表中返回的结果,我以为get\u data
是一个列表,但是当我使用get\u data[0][0]
时,它告诉我BigQueryGetDataOperator对象不支持索引。顺便说一句,最后我需要将列表转换为html,然后将其传递给EmailOperator html\u content
@Don您是否能够想出如何从get\u data
返回的变量中提取list
?在下一个任务中使用xcom
来获取结果列表
get_data = BigQueryGetDataOperator(
task_id='get_data_from_bq',
dataset_id='test_dataset',
table_id='Transaction_partitions',
max_results='100',
selected_fields='DATE',
bigquery_conn_id='airflow-service-account'
)