Django celery 任务数量限制问题

Question

我有问题运行 celery workers 并行执行同一个任务。

我 运行 3 个工人，并将所有工人的 --concurrency 设置为 2。

但它只对所有 3 个工人执行 3 个任务。

希望运行10个工人左右。

celery -A my_app worker -l info  -c 2 -n worker1
celery -A my_app worker -l info  -c 2 -n worker2
celery -A my_app worker -l info  -c 2 -n worker3

请帮助我是否可以一次 运行 超过 3 个任务。

Answer 1

我使用 max-tasks-per-child 参数解决了它。

这是我的解决方案。

celery -A my_app worker -l info -c 10 --max-tasks-per-child 10 -n worker1

在运行之后，它可以同时并行执行10个相同的任务。

希望这对您有所帮助。