如果在先前的计算完成之前出现新请求，则 Tensorflow 服务失败

Tensorflow Serving Fails if a new request comes before previous computation is finished

我目前有一个网络 api 运行 使用 flask、gunicorn 和 nginx，网络 api 调用我的 tensorflow 模型服务端口。当 web api 在第一次完成之前被多次调用时，tensorflow 模型失败并给出一个空请求。

处理此问题的最佳方法是什么？我的网络 api 目前已经落后于 gunicorn 和 nginx，但是从 api 到 tensorflow 模型的调用似乎是问题所在。我也应该把它放在 gunicorn / nginx 负载均衡器后面吗？

谢谢

您有多种选择。

  1. 使用多个工人。每个 gunicorn worker 将加载一个模型。这必须在启动时完成，因为加载模型需要一些时间。工人可以处理多个上访。
  2. 使用state machine：闲置，处理中。如果您在处理时收到 GET 并引发 503 服务不可用，您将引发异常。