如何估计深度学习需要多少 GPU 显存?

How to estimate how much GPU memory required for deep learning?

我们正在尝试使用 tensorflow 训练我们的对象识别模型。由于图像太多(100GB),我猜我们当前的GPU服务器(1*2080Ti)无法工作。我们可能需要购买更强大的,但我不确定如何估计我们需要多少 GPU 内存。有什么方法可以估算需求吗?谢谢!

您的 2080Ti 可以很好地完成您的任务。深度学习任务的 GPU 内存取决于许多因素,例如网络中可训练参数的数量、输入图像的大小、批量大小、浮点类型(FP16 或 FP32)和激活次数等。我认为你对一次将所有图像加载到 GPU 内存感到困惑。我们不这样做,而是使用不同大小的小批量来将所有图像和参数放入内存。将任何类型的网络添加到您的 2080Ti 并调整批量大小,然后您的训练将 运行 顺利进行。您可以使用 2080Ti,也可以再提高一两次训练速度。 This 博文提供了有关创建最佳 DL 环境的绝妙见解。