GPU 中的 Bfloat16 训练
Bfloat16 training in GPUs
您好，我正在尝试使用新的 bfloat16 数据类型变量训练模型。我知道 Google TPU 支持这一点。我想知道是否有人尝试过使用 GPU（例如 GTX 1080 Ti）进行训练。这甚至可能吗，GPU 张量核心是否支持？如果有人有任何经验，请分享您的想法。
非常感谢！
我已经在 Tensorflow github 社区发布了这个问题。到目前为止，这是他们的回应——
“
bfloat16 对 GPU 的支持不完整，因为设备本身不支持它。
为了提高性能，您需要使用 float32 或 float16 进行 GPU 执行（尽管 float16 很难训练模型）。 TPU 支持 bfloat16 以有效地执行所有操作（但您目前必须迁移模型才能在 TPU 上工作）。
“
您好，我正在尝试使用新的 bfloat16 数据类型变量训练模型。我知道 Google TPU 支持这一点。我想知道是否有人尝试过使用 GPU（例如 GTX 1080 Ti）进行训练。这甚至可能吗，GPU 张量核心是否支持？如果有人有任何经验，请分享您的想法。 非常感谢！
我已经在 Tensorflow github 社区发布了这个问题。到目前为止，这是他们的回应—— “ bfloat16 对 GPU 的支持不完整，因为设备本身不支持它。
为了提高性能，您需要使用 float32 或 float16 进行 GPU 执行（尽管 float16 很难训练模型）。 TPU 支持 bfloat16 以有效地执行所有操作（但您目前必须迁移模型才能在 TPU 上工作）。 “