使用烧瓶服务 pytorch 模型

serving pytorch model using flask

如果多个client向一台server发起请求(pytorch模型),请问是flask的多线程还是其他地方出现了问题?

据我所知,如果运行使用flask多线程的pytorch模型,数据会比较乱。如果我说错了,请指正。

Flask 也使用多线程方法,如果您只启动单线程普通 Flask 服务器,请求将受到限制。

使用 Gunicorn: https://gunicorn.org/ 启动你的 Flask 服务器,线程数量充足,作为参数值传递给 Gunicorn