Tensorflow 可以进行增量学习吗?
Is incremental learning possible with Tensorflow?
我正在尝试使用非常大的数据集(比我的内存大得多)训练 Tensorflow 模型。
为了充分利用所有可用的训练数据,我正在考虑将它们分成几个小的“碎片”并一次训练一个碎片。
经过一番研究,我发现这种方法通常被称为“增量学习”。并且基于this Wiki page,并非所有算法都支持增量学习。
我正在使用 tf.keras.Model 构建我的模型。在这种情况下,增量学习是否可行?
Tensorflow 和 Keras 模型默认支持增量学习——事实上,我们通常在迁移学习等情况下使用增量学习。您只需按顺序将数据的不同部分拟合到模型中 - 您甚至可以保存模型,然后加载它并继续使用数据的相同或不同部分进行训练。
有关详细信息,请参阅:
我正在尝试使用非常大的数据集(比我的内存大得多)训练 Tensorflow 模型。
为了充分利用所有可用的训练数据,我正在考虑将它们分成几个小的“碎片”并一次训练一个碎片。
经过一番研究,我发现这种方法通常被称为“增量学习”。并且基于this Wiki page,并非所有算法都支持增量学习。
我正在使用 tf.keras.Model 构建我的模型。在这种情况下,增量学习是否可行?
Tensorflow 和 Keras 模型默认支持增量学习——事实上,我们通常在迁移学习等情况下使用增量学习。您只需按顺序将数据的不同部分拟合到模型中 - 您甚至可以保存模型,然后加载它并继续使用数据的相同或不同部分进行训练。
有关详细信息,请参阅: