Kubernetes 数量 Pods 根据任务
Kubernetes number of Pods according to tasks
我有一个处理任务想用kubernetes解决。基本概念是我要处理的工作队列中有一定数量的项目。项目可以添加到队列中,并在 pod 处理完项目后立即删除。
首选的工作流程是:
- 定义最大数量 pods(例如 40)
- 将项目推送到队列(例如 20)
- 数量 pods 是根据队列中的项目数量创建的(=>20)
- 当 pods 仍在处理 20 个项目时,另外 40 个项目被推入队列,导致创建了另外 20 个 pods(达到最大数量),并且一旦第一个完成额外的 pods 被创建,直到到达队列的末尾。
是否有使用 kubectl 的内置解决方案?使用作业模式,我可以定义并行的数量 Pods 但这些都是 运行 一直到成功并且没有根据其他标准进行扩展。
感谢您的帮助!
使用 Horizontal Pod Autoscaler。您可能必须定义自定义指标以获取队列中的项目数并在 HPA 中使用它。
我有一个处理任务想用kubernetes解决。基本概念是我要处理的工作队列中有一定数量的项目。项目可以添加到队列中,并在 pod 处理完项目后立即删除。 首选的工作流程是:
- 定义最大数量 pods(例如 40)
- 将项目推送到队列(例如 20)
- 数量 pods 是根据队列中的项目数量创建的(=>20)
- 当 pods 仍在处理 20 个项目时,另外 40 个项目被推入队列,导致创建了另外 20 个 pods(达到最大数量),并且一旦第一个完成额外的 pods 被创建,直到到达队列的末尾。
是否有使用 kubectl 的内置解决方案?使用作业模式,我可以定义并行的数量 Pods 但这些都是 运行 一直到成功并且没有根据其他标准进行扩展。
感谢您的帮助!
使用 Horizontal Pod Autoscaler。您可能必须定义自定义指标以获取队列中的项目数并在 HPA 中使用它。