用于实时预测的 CNTK 部署

CNTK deployment for real time predictions

TensorFlow 有一个用于生产用途的单独项目,如前所述,称为 TensorFlow Serving。

我应该如何在生产环境中使用 CNTK,我应该如何处理它的部署?希望可以将经过训练的模型部署到 server/cluster 中,通过 RPC 或 HTTP REST API.

为模型提供服务

如果不存在这样的工具,开发它的第一步应该是什么以及我自己推出一个好的架构?

CNTK 团队不存在这样的工具,但是 C++ 或 python 中的新 API 应该会在您拥有经过训练的模型后使任务变​​得相当简单。

我们支持在生产环境中提供 CNTK 模型。您可以找到有关模型 evaluation/inference 的信息:https://github.com/Microsoft/CNTK/wiki/CNTK-Evaluation-Overview. For deployment, you need deploy the dlls specified here. A tutorial for deploying CNTK in Azure is available here