本文探讨了FP16(半精度浮点数)与FP32(单精度浮点数)在深度学习模型训练中的应用。使用FP16可以显著提高GPU运算速度和减少显存占用，但可能导致数值溢出。为解决此问题，引入了混合精度训练，通过Loss Scaling技术平衡数值范围，实现高效稳定的模型训练。
float ： 1个符号位、8个指数位和23个尾数位
利用fp16 代替 fp32
优点：
1）TensorRT的FP16与FP32相比能有接近一倍的速度提升168，前提是GPU支持FP16（如最新的2070,2080,2080ti等）
2）减少显存。
缺点：
1） 会造成溢出
因此，在日常使用过程中，常使用双混合精度训练。如图：
此过程中的技术：
1） Loss scaling ：会存在很多梯度在FP16表达范围外，我们为了让其落入半精度范围内，会给其进行等比放大后缩小。
流程：
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
