Google cloud platform 移动数据时使用云上数据流功能的好处?

Google cloud platform 移动数据时使用云上数据流功能的好处?,google-cloud-platform,google-cloud-functions,google-cloud-dataflow,google-cloud-pubsub,Google Cloud Platform,Google Cloud Functions,Google Cloud Dataflow,Google Cloud Pubsub,我对GCP比较陌生,刚刚开始在GCP上建立/评估我的组织架构 场景: 数据将流入发布/子主题(高频率、低数据量)。目标是将数据移动到大表中。据我所知,您可以通过在主题上触发云函数或使用数据流来实现这一点 现在我对云函数有了以前的经验,我对此很满意,所以这将是我的选择 我看不到选择其中一个的好处。所以我的问题是什么时候选择这些产品 谢谢两种解决方案都能奏效。如果您的发布/订阅流量增长到大量数据,那么数据流将更好地扩展,但对于低数据量,云功能应该可以正常工作;我将查看此页面(特别是速率限制部分),以

我对GCP比较陌生,刚刚开始在GCP上建立/评估我的组织架构

场景:
数据将流入发布/子主题(高频率、低数据量)。目标是将数据移动到大表中。据我所知,您可以通过在主题上触发云函数或使用数据流来实现这一点

现在我对云函数有了以前的经验,我对此很满意,所以这将是我的选择

我看不到选择其中一个的好处。所以我的问题是什么时候选择这些产品


谢谢

两种解决方案都能奏效。如果您的发布/订阅流量增长到大量数据,那么数据流将更好地扩展,但对于低数据量,云功能应该可以正常工作;我将查看此页面(特别是速率限制部分),以确保您适合云功能:


另外要考虑的是,Dataflow可以保证对数据进行一次精确的处理,这样就不会在BigTable中出现重复数据。云函数不会在开箱即用的情况下为您做到这一点。如果使用函数方法,则需要确保Pub/Sub消息一致地确定写入哪个BigTable单元格;这样,如果函数被重试几次,相同的数据只会覆盖相同的BigTable单元格。

您的需求听起来相对简单,数据流对于您尝试执行的操作来说可能过于复杂。如果云功能能够满足您的需要,那么它们可能会坚持这样做。在可维护性方面,我经常发现简单性是关键

然而,当您需要在将这些事件存储在BigTable中之前执行转换(如按用户合并这些事件)时,数据流的真正优势就在于此: