Parallel processing Kubernetes根据任务计算的吊舱数量
我有一个特定的处理任务,我想用kubernetes解决。基本概念是,在工作队列中有一定数量的项目需要处理。项目可以添加到队列中,并在pod处理完项目后立即删除。 首选的工作流程是:Parallel processing Kubernetes根据任务计算的吊舱数量,parallel-processing,kubernetes,containers,kubernetes-jobs,Parallel Processing,Kubernetes,Containers,Kubernetes Jobs,我有一个特定的处理任务,我想用kubernetes解决。基本概念是,在工作队列中有一定数量的项目需要处理。项目可以添加到队列中,并在pod处理完项目后立即删除。 首选的工作流程是: 定义吊舱的最大数量(例如40个) 将项目推送到队列(例如20个) POD的数量根据队列中的项目数量创建(=>20) 当POD仍在处理20个项目时,会将另外40个项目推送到队列中,从而再创建20个POD(达到最大数量),并且一旦第一个POD完成,就会创建更多的POD,直到到达队列末尾 是否有使用kubectl的内置
- 定义吊舱的最大数量(例如40个)
- 将项目推送到队列(例如20个)
- POD的数量根据队列中的项目数量创建(=>20)
- 当POD仍在处理20个项目时,会将另外40个项目推送到队列中,从而再创建20个POD(达到最大数量),并且一旦第一个POD完成,就会创建更多的POD,直到到达队列末尾
谢谢你的帮助 使用。您可能需要定义用于获取队列中项目数量的自定义指标,并在HPA中使用。感谢您为我指出这一点,这使我进入了另一个页面,解决了我的问题: