如何跟踪 Redis 中某个用户完成的 Celery 请求数？

Question

我的想法是允许许多用户向一个实例发出大型 post 请求。假设实例配置为一次处理一个实例，我使用 Celery 和 Redis 作为消息代理来异步完成每个人的任务，虽然需要一些时间。

我的问题是如何查看或跟踪某个用户的任务完成了多少？例如，如果 A 提出 10 个请求，我怎么知道 10 分钟后 A 的所有请求是否都已完成？

Answer 1

在您的 http 处理程序中获取或定义 userid。将其作为参数传递给任务。使用redis存储统计信息。

class CallbackTask(Task):
    def on_success(self, retval, task_id, args, kwargs):
        db = redis.StrictRedis(host, port)
        db.incr("succeed.tasks.user{userid}".format(**kwargs)) 
        # note: explicitly pass kwargs when schedule the task 
        # regular_task.apply_async(kwargs=dict(userid=self.get_user))

    def on_failure(self, exc, task_id, args, **kwargs, einfo):
        db = redis.StrictRedis(host, port)
        db.incr("failed.tasks.user{userid}".format(kwargs))


@app.task(base=CallbackTask)
def regular_task(foo, bar, userid):
    # do things

随时随地获取统计数据：

def get_succeed_tasks(db, userid):
    return db.get("succeed.tasks.user{userid}".format(userid=userid))

如何跟踪 Redis 中某个用户完成的 Celery 请求数？

How to track the number of Celery requests completed for a certain user within Redis?

python

redis

celery