是否可以加快本地 AzureML 模型部署?
Is it possible to speed up local AzureML model deployment?
我们希望能够快速测试对 entry_script.py
的更改。我们可以通过单元测试来测试微小的变化,但我们希望 运行 在我们其他后端部分的上下文中,在本地建立一个模型。
所以我们 运行 az ml model deploy
的部署配置 computeType
为 LOCAL
。非本地部署很慢,但我们希望本地部署会更快。不幸的是它不是。在某些情况下,将模型部署到本地端点最多可能需要 20 分钟。
有没有办法加快这个速度以加快编辑-调试循环或处理这种情况的更好方法?
我想到的几件事:
- 我在想
az ml service update
可能是一个选项,但即使那样也需要很长时间。
- 直接在容器中编辑文件是一种选择,但是手动与本地文件系统中的更改同步仍然很烦人。
- 我想在容器中安装一个文件夹,但 AzureML 似乎有一些魔力,例如将
entry_script.py
复制到 /var/azureml-app/main.py
。我们可以通过在本地创建一个与布局匹配的 dist
文件夹并将其安装到容器来模拟这一点,但我不确定这个文件夹布局是否会改变或者 AzureML 是否还有其他事情。
请按照下面的笔记本进行操作,如果您想测试快速部署模型,您应该查看
https://github.com/Azure/MachineLearningNotebooks/tree/master/how-to-use-azureml/deployment/deploy-to-local
SDK 支持在本地构建和 运行 docker 并在您迭代脚本时就地更新以节省时间。
我们希望能够快速测试对 entry_script.py
的更改。我们可以通过单元测试来测试微小的变化,但我们希望 运行 在我们其他后端部分的上下文中,在本地建立一个模型。
所以我们 运行 az ml model deploy
的部署配置 computeType
为 LOCAL
。非本地部署很慢,但我们希望本地部署会更快。不幸的是它不是。在某些情况下,将模型部署到本地端点最多可能需要 20 分钟。
有没有办法加快这个速度以加快编辑-调试循环或处理这种情况的更好方法?
我想到的几件事:
- 我在想
az ml service update
可能是一个选项,但即使那样也需要很长时间。 - 直接在容器中编辑文件是一种选择,但是手动与本地文件系统中的更改同步仍然很烦人。
- 我想在容器中安装一个文件夹,但 AzureML 似乎有一些魔力,例如将
entry_script.py
复制到/var/azureml-app/main.py
。我们可以通过在本地创建一个与布局匹配的dist
文件夹并将其安装到容器来模拟这一点,但我不确定这个文件夹布局是否会改变或者 AzureML 是否还有其他事情。
请按照下面的笔记本进行操作,如果您想测试快速部署模型,您应该查看 https://github.com/Azure/MachineLearningNotebooks/tree/master/how-to-use-azureml/deployment/deploy-to-local
SDK 支持在本地构建和 运行 docker 并在您迭代脚本时就地更新以节省时间。