Amazon web services 将传入数据流分发到同一网络内的单独容器中（Twitter API和AWS ECS）

我正在AWS上构建一个数据管道，它将来自Twitter v1.1的数据流化。拖缆应用程序位于ECS（即docker）容器内，从中发送初始POST请求。然后，该应用程序将推文发送到AWS Kinesis Firehose流（因此可以从不同的位置/代理将数据发送到同一KF流）

我使用的是VPC，因此可以在同一网络中运行多个容器

问题是：是否可以将传入（Twitter）数据流分发到同一网络（VPC）内的多个容器中？如果是，有什么提示吗？

UPD.我的管道是

Twitter API->[ECS container]streamer app->S3->Lambda（预测）->Elasticsearch

，我正在谈论streamer app部分

这里的最终目标是能够根据水流的强度进行缩放。例如，当来自Twitter的流量较低时，使用一个小型（内存、CPU）容器，当流较密集时，使用更多容器。

这是可能的（将一个流等同于一个Twitter API连接），但这将为您提供在每个流实例中返回相同推文的完全相同的流

---

如果您正在跟踪一组静态关键字，一个好的方法是自动缩放到单个较大的容器，而不是让其他容器并行接收完全相同的流。

我想问的是，是否有可能以某种方式连接到来自同一网络但不同容器的运行Twitter流。不过，我不太明白另一种方法。我的管道现在是

twitterapi->[ECS container]streamer app->S3->Lambda（预测）->Elasticsearch

。拖缆仅用于读取推特流并将推特移动到S3。为什么我需要

Lambda->S3->CloudWatch->DynamoDB

循环？如果需要拖缆将tweets移动到S3，那么您的体系结构很好！是的，但我要寻找的是使用ECS按需扩展拖缆（

Twitter->S3

）（当流量较高时，启动更多容器来处理来自Twitter的相同数据流，例如，我的关键字tweet编号出现峰值）。我在问是否有可能做到这一点。这是可能的（将一个拖缆等同于一个Twitter API连接），但这将为您提供在每个拖缆实例中返回相同推文的完全相同的流。如果您正在跟踪一组静态关键字，一个好的方法是自动缩放到一个较大的容器，而不是让其他容器并行接收完全相同的流。我明白了。是的，你的建议似乎是个不错的策略。比如，每当我从Twitter上获得

incompleread

时，我就会启动一个更大的容器。听起来不错，谢谢！