我可以使用 autocast（自动混合精度）加速 PyTorch 中的推理吗？
Can I speed up inference in PyTorch using autocast (automatic mixed precision)?
The docs (see also this) for autocast in PyTorch 只讨论训练。如果我也使用 autocast 进行推理，它会加快速度吗？
是的（虽然在某些情况下可能不会）。
您正在处理精度较低的数据（例如 float16 与 float32）。
在这种情况下，您的程序必须读取和处理较少的数据。
这可能有助于缓存位置和硬件特定软件（例如，如果使用 CUDA，则为张量核心）
The docs (see also this) for autocast in PyTorch 只讨论训练。如果我也使用 autocast 进行推理，它会加快速度吗？
是的（虽然在某些情况下可能不会）。
您正在处理精度较低的数据（例如 float16 与 float32）。
在这种情况下，您的程序必须读取和处理较少的数据。
这可能有助于缓存位置和硬件特定软件（例如，如果使用 CUDA，则为张量核心）