使用 PyTorch 的交叉熵损失函数是否需要 One-Hot Encoding？

Question

例如，如果我想解决 MNIST class化问题，我们有 10 个输出 classes。对于 PyTorch，我想使用 torch.nn.CrossEntropyLoss 函数。我是否必须格式化目标以便它们是单热编码的，或者我可以简单地使用数据集附带的 class 标签吗？

Answer 1

如果您正在加载 ImageLoader 以从文件夹本身加载数据集，那么 PyTorch 会自动为您标记它们。您所要做的就是像这样构建文件夹：

|
|__train
|   |
|   |__1
|   |_ 2
|   |_ 3
|   .
|   .
|   .
|   |_10
|
|__test
    |
    |__1
    |_ 2
    |_ 3
    .
    .
    .
    |_10

每个 class 都应该有一个单独的文件夹。如果您从 DataFrame 加载数据，您可以使用以下代码对其进行编码：

one_hot = torch.nn.functional.one_hot(target)

Answer 2

nn.CrossEntropyLoss 需要整数标签。它在内部所做的是，它根本不会对 class 标签进行一次性编码，而是使用标签对输出概率向量进行索引，以计算损失，如果您决定使用此 [=25] =] 作为最终标签。这个小而重要的细节使计算损失更容易，并且与执行单热编码等效，测量每个输出神经元的输出损失，因为输出层中的每个值都将为零，但在目标处索引的神经元除外 class。因此，如果您已经提供了标签，则无需对数据进行一次性编码。

文档对此有更多见解：https://pytorch.org/docs/master/generated/torch.nn.CrossEntropyLoss.html。在文档中，您将看到 targets 作为输入参数的一部分。这些是您的标签，它们被描述为：

这清楚地显示了输入应该如何形成以及预期的结果。如果您实际上想对数据进行单热编码，则需要使用 torch.nn.functional.one_hot。为了最好地复制交叉熵损失在幕后所做的事情，您还需要 nn.functional.log_softmax 作为最终输出，并且您必须另外编写自己的损失层，因为 PyTorch 层的 none使用对数 softmax 输入和单热编码目标。但是，nn.CrossEntropyLoss 将这两种操作组合在一起，如果您的输出只是 class 标签，则首选，因此无需进行转换。

使用 PyTorch 的交叉熵损失函数是否需要 One-Hot Encoding？

Is One-Hot Encoding required for using PyTorch's Cross Entropy Loss Function?

python

computer-vision

multilabel-classification

deep-learning

pytorch