Kubernetes编排取决于行数/记录数/输入文件数

要求是根据源系统中存在的记录数（SQL/Google Analytics/SAAS/CSV文件）编排ETL容器

举例说明：-ETL作业必须处理SQL server中存在的50K条记录，但是，一台服务器/节点执行此作业需要很长的处理时间，因为此服务器与SQL建立连接，获取数据并处理记录

---

现在的问题是如何在Kubernetes中协调此ETL作业，以便它根据记录/输入的数量向上/向下扩展容器。与上面讨论的情况类似，如果有50K条记录要并行处理，那么它应该放大容器处理记录并缩小规模。

您通常会使用某种队列和水平Pod Autoscaler（HPA）来观察队列大小并自动调整队列使用者副本。具体细节取决于您使用的确切工具。

您通常会使用某种队列和水平Pod Autoscaler（HPA）来观察队列大小并自动调整队列使用者副本。具体细节取决于您使用的确切工具。

非常感谢，我阅读了更多关于它的内容，并理解了它的概念。我将围绕它进行poc并确认结果。非常感谢，我阅读了更多关于它的内容，并且理解了这个概念。我将对其进行poc并确认结果。