提示:文章寫完后,目錄可以自動(dòng)生成,如何生成可參考右邊的幫助文檔
一、Batchnorm
BatchNorm,一般用于CV任務(wù),是把一個(gè)batch(N張圖片)中同一通道的特征,將其標(biāo)準(zhǔn)化??梢岳斫鉃閷?duì)Batch中的所有圖的每一層像素進(jìn)行標(biāo)準(zhǔn)化。
二、Layernorm
LayerNorm,一般用于NLP任務(wù)中,是把batch中的一個(gè)樣本(一個(gè)句子)在當(dāng)前層的所有特征,將其標(biāo)準(zhǔn)化。可以理解為對(duì)一個(gè)句子的整體進(jìn)行標(biāo)準(zhǔn)化。文章來源:http://www.zghlxwxcb.cn/news/detail-691308.html
三、總結(jié)
由于二者的所應(yīng)用的任務(wù)不同其特征維度也存在差異,圖像對(duì)比會(huì)產(chǎn)生誤解,在此用文字描述更利于理解。文章來源地址http://www.zghlxwxcb.cn/news/detail-691308.html
到了這里,關(guān)于Batchnorm 和Layernorm 區(qū)別的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!