如果输入包含 NaN，则通过 Pytorch Element-Wise Operation 进行反向传播

Question

假设我想计算两个张量之间的元素商。如果其中一个张量包含 NaN，则生成的商也将包含 NaN，我理解这一点。但是为什么梯度在整个操作中变得不存在了呢？以及如何保留非 NaN 项的梯度？

例如：

>>> x = torch.tensor([1.0, np.NaN])
>>> y = torch.tensor([2.0, 3.0])
>>> z = torch.div(y, x)
>>> z
tensor([2., nan])
>>> z.backward()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/local/lib/python3.6/dist-packages/torch/tensor.py", line 107, in backward
    torch.autograd.backward(self, gradient, retain_graph, create_graph)
  File "/usr/local/lib/python3.6/dist-packages/torch/autograd/__init__.py", line 93, in backward
    allow_unreachable=True)  # allow_unreachable flag
RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

Answer 1

只是一个小调整：

import torch
import numpy as np
x = torch.tensor([1.0, np.NaN], requires_grad=True)
y = torch.tensor([2.0, 3.0])
z = torch.div(y, x)
z #tensor([2., nan], grad_fn=<DivBackward0>)

换句话说你需要说你需要梯度计算，否则张量将没有梯度函数。

Answer 2

你的代码有很多错误，特此指出，希望不吝赐教:)

RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn 不是因为 NaN。这是因为 none 的输入变量需要梯度，因此 z 不可能调用 backward()。您需要在某处启动反向传播树。
您不能只 .backward() 具有多个值的张量。您需要先 sum() 或一些类似的操作，但在您的情况下会产生 NaN 。您可以通过调用 .backward(torch.Tensor([1.0,1.0])).

z

因此，如果您修复了所有错误，它应该可以工作：

import torch
import numpy as np

x = torch.tensor([1.0, np.NaN], requires_grad=True)
y = torch.tensor([2.0, 3.0])
z = torch.div(y, x)

z.backward(torch.Tensor([1.0,1.0]))
print(x.grad)

tensor([-2., nan])

如果输入包含 NaN，则通过 Pytorch Element-Wise Operation 进行反向传播

Backprop through Pytorch Element-Wise Operation if input contains NaNs

python

python-3.x

python-3.6

pytorch