Amazon web services 从运动迁移

我和我的团队有一个基于亚马逊Kinesis服务的流媒体系统，它使用Java独立用户和KCL向其他团队提供跟踪信息。我们决定将这个系统迁移到谷歌云平台

我们了解到，谷歌平台中亚马逊Kinesis的自然替代品是谷歌云数据流服务。是这样吗

另一个关注点是数据分区，因为我们在Kinesis中使用用户id作为分区键。是否可以在Google数据流上执行相同的分区

---

当然，以前有没有人做过类似的从AWS到Google平台的迁移？有什么建议吗？

< P>是的，Cloud Dataflow将是正确的选择，如果您想使用主题和订阅，您可能还想考虑云Pub/Sub作为消息中间件。p> 在数据流中完全可以按键对数据进行分区，但您不需要为整个管道确定单个分区键。相反，当您准备好进行聚合操作时，您只需定义一个GroupByKey转换，数据流就会正确地将数据分片到存储桶中，并以分布式方式在多个工作线程上并行处理它们。每个工作者都将拥有一个子范围的密钥

您可以在一个序列中有多个GroupByKey，它们可以使用不同的键进行切分和聚合

---

Brightcove是前AWS用户迁移到GCP（特别是数据流）的最近一个例子。下面是GCP下一个会话

< p>的记录，是的，Cloud Dataflow将是正确的选择，如果你想使用主题和订阅，你可能也想考虑云Pub/Sub作为你的消息中间件。p> 在数据流中完全可以按键对数据进行分区，但您不需要为整个管道确定单个分区键。相反，当您准备好进行聚合操作时，您只需定义一个GroupByKey转换，数据流就会正确地将数据分片到存储桶中，并以分布式方式在多个工作线程上并行处理它们。每个工作者都将拥有一个子范围的密钥

您可以在一个序列中有多个GroupByKey，它们可以使用不同的键进行切分和聚合

Brightcove是前AWS用户迁移到GCP（特别是数据流）的最近一个例子。这是他们下节课的GCP记录