为什么在 tensorflow 2 中使用 tf.GradientTape 进行训练与使用 fit API 进行训练有不同的行为？

Question

我刚开始使用 tensorflow 2

我熟悉在tensorflow 1中使用keras。我通常使用fit方法API训练模型。但最近在 tensorflow 2 中，他们引入了 eager execution。因此，我在 fit 和 tf.GradientTape 的 CiFAR-10 数据集上实施并比较了一个简单的图像分类器，每个训练 20 个时期

经过多次运行，结果如下

使用 fit API 训练的模型
- 训练数据集，损失约为 0.61-0.65，准确率为 76% - 80%
- 验证数据集，损失约为 0.8，准确率为 72% - 75%
使用 tf.GradientTape 训练的模型
- 训练数据集，损失约为 0.15-0.2，准确率为 91% - 94%
- 验证数据集，损失约为 1.8-2，准确率为 64% - 67%

我不确定为什么模型表现出不同的行为。我想我可能会实施错误。我认为在 tf.GradientTape 中模型开始更快地过度拟合训练数据集很奇怪

这里有一些片段

使用 fit API

model = SimpleClassifier(10)
model.compile(
    optimizer=Adam(),
    loss=tf.keras.losses.CategoricalCrossentropy(),
    metrics=[tf.keras.metrics.CategoricalAccuracy()]
)
model.fit(X[:split_idx, :, :, :], y[:split_idx, :], batch_size=256, epochs=20, validation_data=(X[split_idx:, :, :, :], y[split_idx:, :]))

使用tf.GradientTape

with tf.GradientTape() as tape:
    y_pred = model(tf.stop_gradient(train_X))
    loss = loss_fn(train_y, y_pred)
    gradients = tape.gradient(loss, model.trainable_weights)
model.optimizer.apply_gradients(zip(gradients, model.trainable_weights))

可以找到完整代码here in Colab

参考资料

Answer 1

tf.GradientTape 代码中有几处可以修复：
1) trainable_variables 不是 trainable_weights。你想对所有可训练变量应用梯度，而不仅仅是模型权重

# gradients = tape.gradient(loss, model.trainable_weights)
gradients = tape.gradient(loss, model.trainable_variables)

# and

# model.optimizer.apply_gradients(zip(gradients, model.trainable_weights))
model.optimizer.apply_gradients(zip(gradients, model.trainable_variables))

2) 从输入张量中移除tf.stop_gradient。

with tf.GradientTape() as tape:
#    y_pred = model(tf.stop_gradient(train_X))
    y_pred = model(train_X, training=True)

请注意，我还添加了训练参数。它还应包含在模型定义中，以包含依赖于 phase 的层（如 BatchNormalization 和 Dropout）：

    def call(self, X, training=None):
        X = self.cnn_1(X)
        X = self.bn_1(X, training=training)
        X = self.cnn_2(X)
        X = self.max_pool_2d(X)
        X = self.dropout_1(X)

        X = self.cnn_3(X)
        X = self.bn_2(X, training=training)
        X = self.cnn_4(X)
        X = self.bn_3(X, training=training)
        X = self.cnn_5(X)
        X = self.max_pool_2d(X)
        X = self.dropout_2(X)

        X = self.flatten(X)
        X = self.dense_1(X)
        X = self.dropout_3(X, training=training)
        X = self.dense_2(X)
        return self.out(X)

通过这几项更改，我获得了更好的分数，与 keras.fit 结果相比：

[19/20] loss: 0.64020, acc: 0.76965, val_loss: 0.71291, val_acc: 0.75318: 100%|██████████| 137/137 [00:12<00:00, 11.25it/s]
[20/20] loss: 0.62999, acc: 0.77649, val_loss: 0.77925, val_acc: 0.73219: 100%|██████████| 137/137 [00:12<00:00, 11.30it/s]

答案：不同之处可能在于 Keras.fit 在幕后完成了大部分这些事情。

最后，为了清晰和可重复性，我使用的部分 training/eval 代码：

for bIdx, (train_X, train_y) in enumerate(train_batch):
            if bIdx < epoch_max_iter:
                with tf.GradientTape() as tape:
                    y_pred = model(train_X, training=True)
                    loss = loss_fn(train_y, y_pred)
                    total_loss += (np.sum(loss.numpy()) * train_X.shape[0])
                    total_num += train_X.shape[0]
                    # gradients = tape.gradient(loss, model.trainable_weights)
                    gradients = tape.gradient(loss, model.trainable_variables)
                total_acc += (metrics(train_y, y_pred) * train_X.shape[0])

                running_loss = (total_loss/total_num)
                running_acc = (total_acc/total_num)
                # model.optimizer.apply_gradients(zip(gradients, model.trainable_weights))
                model.optimizer.apply_gradients(zip(gradients, model.trainable_variables))

                pbar.set_description("[{}/{}] loss: {:.5f}, acc: {:.5f}".format(e, epochs, running_loss, running_acc))
                pbar.refresh()
                pbar.update()

评价一：

# Eval loop
        # Calculate something wrong here
        val_total_loss = 0
        val_total_acc = 0
        total_val_num = 0
        for bIdx, (val_X, val_y) in enumerate(val_batch):
            if bIdx >= max_val_iterations:
                break
            y_pred = model(val_X, training=False)

为什么在 tensorflow 2 中使用 tf.GradientTape 进行训练与使用 fit API 进行训练有不同的行为？

Why does training using tf.GradientTape in tensorflow 2 have different behavior to training using fit API?

python

deep-learning

keras

tensorflow

tensorflow2.0