如何正确使用GPU算力？
How to correctly utilise GPU power?
简短版本：Tesorflow Keras 模型在 Tesla T4 上的训练速度比在 GTX 970 上慢得多（两者都在工作，用 nvidia-smi 检查）。
长版：我有两台主机。一台是 GTX 970 Tensorflow 2.1.0 的 PC，另一台是 Tesla T4 Tensorflow 2.3.0 的 GCP AI 平台笔记本。我是 运行 两者上的相同代码，所有训练数据都作为 numpy 数组存储在 RAM 中，dtype 是相同的（'float16'），batch_size 也是相同（8，GTX 无法与高于此的任何东西一起使用，但我也在 Tesla 上尝试过 64，没有任何区别）。为什么拥有 GTX 两倍计算能力的 Tesla 的工作速度却慢了大约 2.5 倍？如何正确使用我的 GPU 来更快地训练我的模型？
首先，为了公平比较，您必须使用完全相同的 TensorFlow 版本，因为有报告称 TensorFlow 版本之间存在性能差异 。请注意，post 还包含 TF 2.1 与 TF 2.2 与 TF 2.3
之间的比较
上面的post也有关于如何准备+健身以获得良好表现的建议。
其次，CPU 预处理在一台机器上可能比另一台机器慢，因此可能是另一个差异来源。
简短版本：Tesorflow Keras 模型在 Tesla T4 上的训练速度比在 GTX 970 上慢得多（两者都在工作，用 nvidia-smi 检查）。
长版：我有两台主机。一台是 GTX 970 Tensorflow 2.1.0 的 PC，另一台是 Tesla T4 Tensorflow 2.3.0 的 GCP AI 平台笔记本。我是 运行 两者上的相同代码，所有训练数据都作为 numpy 数组存储在 RAM 中，dtype 是相同的（'float16'），batch_size 也是相同（8，GTX 无法与高于此的任何东西一起使用，但我也在 Tesla 上尝试过 64，没有任何区别）。为什么拥有 GTX 两倍计算能力的 Tesla 的工作速度却慢了大约 2.5 倍？如何正确使用我的 GPU 来更快地训练我的模型？
首先，为了公平比较，您必须使用完全相同的 TensorFlow 版本，因为有报告称 TensorFlow 版本之间存在性能差异
上面的post也有关于如何准备+健身以获得良好表现的建议。
其次，CPU 预处理在一台机器上可能比另一台机器慢，因此可能是另一个差异来源。