Swift's Blog
HOME
ARCHIVES
TAGS
CATEGORIES
LINKS
ABOUT
HOME
ARCHIVES
TAGS
CATEGORIES
LINKS
ABOUT
FP16与BF16区别
Swift
Lv6
2024-05-05 16:06:50
2024-05-05 16:06:50
Machine Learning
LLM
FP16
BF16
二者都是占用16bit空间。
FP16由1个符号位、5个指数位和10个尾数位组成。FP16在表达小数时具有较高的精度,但表示的最大范围相对BF16比较小。相比BF16,在表达较大的数时更容易出现上溢的情况。
BF16由1个符号位、8个指数位和7个尾数位组成。相比于FP16,BF16牺牲了一些尾数位以增加指数位,扩大了表达的范围,但是精度降低了,因此对于对精度需求比较高的模型,模型可能效果不如FP16。
模型训练时使用BF16和FP16都可以降低内存使用和传输量,提高训练效率。
参考
使用半精度训练时,BF16和FP16格式有什么异同?
LLM
FP16
BF16
模型训练的显存占用分布
Prev posts
NTK-Aware Interpolation
Next posts
1.
参考
1.
参考