Google cloud platform 当新数据加载到BigQuery时,有没有办法自动触发数据流作业(将数据从BigQuery传输到MySQL)?

Google cloud platform 当新数据加载到BigQuery时,有没有办法自动触发数据流作业(将数据从BigQuery传输到MySQL)?,google-cloud-platform,google-bigquery,google-cloud-dataflow,Google Cloud Platform,Google Bigquery,Google Cloud Dataflow,我正在寻找一种解决方案,每当BigQuery表接收到新数据时自动触发数据流作业 不希望创建一个cron作业,该作业会不断查找表中的新更改。AFAIK BigQuery不支持触发器。从哪里添加BigQuery中的数据?通过云函数的BigQuery触发器是Alpha格式的。您可以在这里看到它们():gcloud beta函数部署bq_informer——触发事件google.cloud.bigquery.job.complete。没有正式记录。否则,您可以通过Stackdriver logs+Pub

我正在寻找一种解决方案,每当BigQuery表接收到新数据时自动触发数据流作业


不希望创建一个cron作业,该作业会不断查找表中的新更改。

AFAIK BigQuery不支持触发器。从哪里添加BigQuery中的数据?通过云函数的BigQuery触发器是Alpha格式的。您可以在这里看到它们():
gcloud beta函数部署bq_informer——触发事件google.cloud.bigquery.job.complete
。没有正式记录。否则,您可以通过Stackdriver logs+PubSub+云函数+数据流(模板)进行连接?哪一个过程?@GrahamPolley,不确定我们能不能在这个Alpha上交流。我的意见是,它在几个月内没有任何活动,不确定是否会在一天内发布…Bigquery表的来源是多个批处理作业(将数据从GCS加载到BQ),每个批处理作业都单独记录到stackdriver日志中,我也尝试过stackdriver+pubsub+云函数模型Graham,但日志不止1个,它最终不止一次地执行云函数。