在pytorch中加速训练深度学习模型

Question

我正在使用 Pytorch 框架训练深度学习模型。并且我添加torch.no_grad来加速训练阶段

model.train()
for epoch in range(epochs):
  for data, label in loader:
     data, label = data.to(device), label.to(device)
     with torch.no_grad():
       out = model(data)
     out.requires_grad = True
     #model.zero_grad(), loss(), loss.backward, optim.step

速度提高了，但是梯度更新有问题，模型没有正确收敛。有人可以向我解释为什么它不起作用吗？

Answer 1

简单地说，当使用 torch.no_grad 上下文管理器时，不会计算梯度，因此模型无法接收任何更新。

torch.no_grad 用于其他情况，例如评估模型时。来自 docs:

Disabling gradient calculation is useful for inference, when you are sure that you will not call Tensor.backward()

在pytorch中加速训练深度学习模型

Speed up training deep learning model in pytorch

python

deep-learning

pytorch