使用烧瓶服务 pytorch 模型
serving pytorch model using flask
如果多个client向一台server发起请求(pytorch模型),请问是flask的多线程还是其他地方出现了问题?
据我所知,如果运行使用flask多线程的pytorch模型,数据会比较乱。如果我说错了,请指正。
对 Flask
也使用多线程方法,如果您只启动单线程普通 Flask
服务器,请求将受到限制。
使用 Gunicorn
: https://gunicorn.org/ 启动你的 Flask 服务器,线程数量充足,作为参数值传递给 Gunicorn
。
如果多个client向一台server发起请求(pytorch模型),请问是flask的多线程还是其他地方出现了问题?
据我所知,如果运行使用flask多线程的pytorch模型,数据会比较乱。如果我说错了,请指正。
对 Flask
也使用多线程方法,如果您只启动单线程普通 Flask
服务器,请求将受到限制。
使用 Gunicorn
: https://gunicorn.org/ 启动你的 Flask 服务器,线程数量充足,作为参数值传递给 Gunicorn
。