远程 VM 上的 Tensorflow Serving 服务于来自客户端的 HTTP 预测请求
Tensorflow Serving on a remote VM to serve HTTP prediction request from clients
根据官方 Tensorflow 服务文档 here，我在带有 GPU 的远程 VM 上创建了模型服务以在本地主机上提供服务，并且预测工作正常。但是，目的是在远程 VM 上为模型提供服务，以便客户端能够将 HTTP 预测请求发送到他们已知 IP 地址的远程服务器。在客户端机器上，我将 'localhost' 更改为远程 IP，保持其他一切不变并发送请求。但是，连接超时。非常感谢任何帮助/建议。
curl -d '{"instances": [1.0,2.0,5.0]}' -X POST http://<Remote Machine IP>:8501/v1/models/saved_model_half_plus_three:predict
端口未打开。进入防火墙规则并从 0.0.0.0/0 源 IP 范围添加端口 8501，如果它是你想要的。
但是，对于生产，我建议您将它放在负载均衡器后面，以管理实例组和其他可扩展且安全的东西。
根据官方 Tensorflow 服务文档 here，我在带有 GPU 的远程 VM 上创建了模型服务以在本地主机上提供服务，并且预测工作正常。但是，目的是在远程 VM 上为模型提供服务，以便客户端能够将 HTTP 预测请求发送到他们已知 IP 地址的远程服务器。在客户端机器上，我将 'localhost' 更改为远程 IP，保持其他一切不变并发送请求。但是，连接超时。非常感谢任何帮助/建议。
curl -d '{"instances": [1.0,2.0,5.0]}' -X POST http://<Remote Machine IP>:8501/v1/models/saved_model_half_plus_three:predict
端口未打开。进入防火墙规则并从 0.0.0.0/0 源 IP 范围添加端口 8501，如果它是你想要的。
但是，对于生产，我建议您将它放在负载均衡器后面，以管理实例组和其他可扩展且安全的东西。