『CV學(xué)習(xí)筆記』深度理解半精度float16的表示 |
- 深度學(xué)習(xí)中
int8、float16、float32
的主要卻別在于能表示的 數(shù)值范圍、數(shù)值精度。- 半精度是英偉達(dá)在2002年搞出來的,雙精度和單精度是為了計(jì)算,而半精度更多是為了降低數(shù)據(jù)傳輸和存儲成本。很多場景對于精度要求也沒那么高,例如分布式深度學(xué)習(xí)里面,如果用半精度的話,比起單精度來可以節(jié)省一半傳輸成本??紤]到深度學(xué)習(xí)的模型可能會有幾億個(gè)參數(shù),使用半精度傳輸還是非常有價(jià)值的。
一. float16的表示方法
- float16顧名思義有16位二進(jìn)制數(shù),其中有1位固定的符號位,記為sign。剩下15位中5位作為指數(shù)&#
文章來源地址http://www.zghlxwxcb.cn/news/detail-435580.html
文章來源:http://www.zghlxwxcb.cn/news/detail-435580.html
到了這里,關(guān)于『CV學(xué)習(xí)筆記』深度理解半精度float16的表示的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!