FP16与BF16区别
Swift Lv6

16

二者都是占用16bit空间。

  • FP16由1个符号位、5个指数位和10个尾数位组成。FP16在表达小数时具有较高的精度,但表示的最大范围相对BF16比较小。相比BF16,在表达较大的数时更容易出现上溢的情况。
  • BF16由1个符号位、8个指数位和7个尾数位组成。相比于FP16,BF16牺牲了一些尾数位以增加指数位,扩大了表达的范围,但是精度降低了,因此对于对精度需求比较高的模型,模型可能效果不如FP16。

模型训练时使用BF16和FP16都可以降低内存使用和传输量,提高训练效率。


参考

Powered by Hexo & Theme Keep
Unique Visitor Page View