Twitter 如何创建一个随着数据负载增加而自我复制的微服务？

我正在从事一个大数据项目，我试图从Twitter上获取推文，分析这些推文，并从中做出预测。 我遵循了本教程： 为了得到推特。现在，我计划建立一个微型服务，随着我增加想要推特的主题数量，它可以自我复制。现在，无论我写了什么代码来收集tweets，我想制作一个微服务，它可以获取一个关键字，并为该关键字创建一个代码实例，然后收集tweets，对于每个关键字，都应该创建一个实例。 如果您能告诉我在这种应用中使用什么工具，也会很有帮助。 多谢各位

我想制作一个微服务，它可以获取一个关键字并为该关键字创建一个代码实例，并收集tweet，每个关键字都应该创建一个实例

您可以将其用作基础群集/部署基础结构。它具有允许您以编程方式部署新服务的功能。因此，您需要做的是：

• 为您的twitter服务设置一个基本的服务容器，该容器可以在中使用
• 然后根据容器部署第一个。服务使用的服务配置以及有关kubernetes集群的信息（如何访问集群API以及在存储库中的何处找到容器）将被删除
• 现在，您的第一个服务已经具备了自动为kubernetes创建附加服务描述（使用其他关键字）所需的所有信息，并通过调用kubernetes集群API来部署这些附加服务
• 由于附加服务也将传递所有必要的信息，因此它们自己可以启动更多的服务等等

您可能需要花费一些精力来确定集群资源调配，但这也可以通过自动伸缩（例如，可用于Google或AWS云）自动完成

---

另一种方法是运行基本twitter服务的水平扩展集群，该集群使用自组织算法将所有关键字放入数据库或事件队列。

微服务不会自我复制。它们的业务流程层管理部署其他实例。。。如果您想要自动缩放，那么将应用部署到云容器中service@KeshavPradeepRamanath我已经完成了整个教程，按照上面给出的链接，在这里，我创建了一个完整的环境，使用ApacheFlume将推特从Twitter拉到Hadoop的hdfs系统，过程由oozie控制，最后使用ApacheHive查询hdfs中的Jason数据，以获得一个人的转发次数。