Google bigquery PubSub->BigQuery-如何处理多个独立主题？

我们使用DataFlow从一组PubSub主题中读取数据，并将数据写入BigQuery。我们目前正在为每个主题使用一个数据流作业，并将它们写入相关的BigQuery表。是否可以为此编写一个数据流作业

我在这里看到了关于将多个源转换为一个输出的文档：

是否有什么东西阻止我在同一个数据流作业中只执行多个基本管道，如在基本流中：

---

文档和我对代码的理解意味着这是可以做到的，但我希望在开始这项工作之前确定这一点。

我的理解是，这样做没有错，而且是可以做到的，这取决于您试图实现的目标，以及与您相关的设计决策。例如，如果您希望某些主题具有更高的吞吐量，则拆分它们的一个可能好处是，它允许您独立扩展以处理特定主题

---

在我的例子中，我选择了多个主题，应用一些转换集并创建一个新的主题，最终将它们写到BigQuery中。这一切都是在一个作业中完成的，我正在以编程方式在运行之前生成转换。

Idrees，感谢您提供的信息。我们有一个可以生成更多数据的。然而，我们的扩展还很早，我现在更愿意压缩，将整个集合扩展一点，并管理更少的复杂性。然后拿出一份开始落后的工作，把他们分开。目前，总容量可能需要两台小型机器。它将迅速增长，但大部分增长来自两个主题，而不是全部五个主题。我以后可以把它们拔出来。