nvidia的Pascal和Volta系列显卡除了支持標准的单半精度训练计算外也支持了低半精度训练的计算，比如最新的Tesla V100硬件支持了FP16的计算加速P4和P40支持INT8的计算加速，而且低半精度训练計算的峰值要远高于单精浮点的计算峰值

为了加速训练过程以及减少显存开销，baidu Research和nvidia在这篇论文中合作提出了一种FP16和FP32混合半精度训练训练嘚方法并且在CNN分类和检测、语音识别和语言模型任务上进行了验证，实验过程中使用的GPU就是Tesla V100

训练过程中每层的权重都存成FP32格式（Mater-Weights），烸次训练时都会将FP32的权重降半精度训练至FP16（ a master copy）前向输出和后向梯度都使用FP16进行计算，更新时将FP16的梯度累加到FP32的Mater-Weight上

由于FP16所能表示的subnormal最小正数是2?242?24 ≈ 5.96×10?85.96×10?8（），也就是说在区间（?2?24,2?24?2?24,2?24）的数（或者说指数位小于-24的数）使用FP16表示时都会變成0在一个普通话识别的模型训练中，有将近5%的权重梯度的指数位小于-24如果更新时也用FP16计算，那么这些数在乘以学习率后都将变成0從而对最终模型效果产生负面影响，使用混合半精度训练训练的方式可以避免这种问题

混合半精度训练训练可以解决权重更新量很小的問题，但无法解决梯度本身很小的问题在一些网络中（比如SSD），梯度大部分都在FP16的表示范围之外因此需要将梯度平移到FP16的表示范围内 。

平移实际上就是对梯度值乘以一个系数（等于2n2nnn为平移的位数），但另一种简单高效的方法是直接在前向时就将loss乘以scale这样在后向传导時所有的梯度都会被乘以相同的scale。权重更新时需要将移位后的梯度除以scale后再更新到权重上。

论文中提到他们在实验过程中使用的scale是8~32K最終取得了与FP32一致的收敛结果。对于scale的选择论文没有统一的方法，只是提到scale并没有下界只要选择的scale不会在后向计算时导致溢出就行。