Google cloud platform 我们能否从云功能中只触发一次数据流作业？

我的BigQuery表正在加载多个批处理作业，导致在stackdriver日志记录中创建多个日志条目。我想使用这些日志条目触发数据流作业，方法是将它们发送到pubsubtopic，然后使用cloud函数运行数据流作业

问题是，我们有超过1个批处理作业，因此有超过1个日志条目进入pubsub主题，云函数尝试一次又一次地运行相同的数据流作业

---

我需要一个解决方案，当所有批处理作业在bigQuery表中完成数据加载时，运行一次数据流作业。（批作业的数量不是常数）

也许更容易的解决方案是使用气流DAG触发一切，你考虑过了吗？我不确定我是否正确地阅读了你的问题，但是你能使用流式的DAFFLASH作业，只处理接收到的记录吗？在开始执行多个加载作业之前，您是否知道（并且可以在某处跟踪）要启动的作业数？否则，您知道批处理作业的持续时间以及第一个作业结束和最后一个作业结束之间的最大持续时间吗？@guillaume，我们正在尝试在批处理作业完成后在pubsub上发布一条消息（这将帮助我们跳过SD日志记录），并最终触发下游功能，让我们看看它是如何运行的