????????最近需要對yolov5網(wǎng)絡(luò)框架進(jìn)行改進(jìn)，改進(jìn)訓(xùn)練的過程當(dāng)中發(fā)現(xiàn)了一個(gè)奇怪的問題。????????從tensorboard的圖像過程中看出，bbox_loss,cls_loss在訓(xùn)練預(yù)測之后正常下降，當(dāng)時(shí)obj_loss置信度損失值在上升。這可把我給困住了，各方面都沒有問題，困擾好久。
??????? 總結(jié)分析出三個(gè)主要原因：
1.模型計(jì)算量過大，出現(xiàn)過擬合的現(xiàn)象，需要對網(wǎng)絡(luò)框架進(jìn)行削減，降低網(wǎng)絡(luò)模型復(fù)雜度，或者采用更進(jìn)一步的數(shù)據(jù)增強(qiáng)方式。
2.obj-loss的正負(fù)樣本劃分出現(xiàn)了極不平衡的問題。
3.學(xué)習(xí)率以及optimizer的選擇出現(xiàn)問題，需要進(jìn)行更換。
??????? 按照以上分析原因進(jìn)行修改。
1.削減模型復(fù)雜度值之后，隨著網(wǎng)絡(luò)模型復(fù)雜度的降低，網(wǎng)絡(luò)預(yù)測的準(zhǔn)確率也隨著降低，但是ovj_loss損失值依然存在有上升的現(xiàn)象。（所以個(gè)人總結(jié)認(rèn)為網(wǎng)絡(luò)模型雖然復(fù)雜度高，但是并未達(dá)到所說的過擬合現(xiàn)象。）
2.其次針對于學(xué)習(xí)率以及optimizer的問題，使用的超參數(shù)文件為yolov5當(dāng)中hyper-scratch-low的超參文件，初始的學(xué)習(xí)率為0.01，使用的optimizer為SGD。所以選擇更換optimizer為AdamW,以及相應(yīng)降低學(xué)習(xí)，并且使用hyperscratch-mid的稍強(qiáng)一點(diǎn)的數(shù)據(jù)增強(qiáng)方式。發(fā)現(xiàn)更換為AdamW后，會隨之出現(xiàn)梯度爆炸的情況，訓(xùn)練過程當(dāng)中損失值變?yōu)镹an。
（經(jīng)過以上分析調(diào)整后，個(gè)人改進(jìn)網(wǎng)絡(luò)訓(xùn)練過程中出現(xiàn)此現(xiàn)象與網(wǎng)絡(luò)模型復(fù)雜度無關(guān)，夜雨Optimizer無關(guān)，極大原因便是學(xué)習(xí)率過大的問題。不知道分析是否正確，還請各位幫忙看看）
所以最近實(shí)驗(yàn)過程中，打算只針對學(xué)習(xí)率進(jìn)行調(diào)整。文章來源：http://www.zghlxwxcb.cn/news/detail-472428.html
3.現(xiàn)在只剩下更換置信度損失這一個(gè)方法了。希望大家?guī)兔纯从袥]有其他的解決辦法？文章來源地址http://www.zghlxwxcb.cn/news/detail-472428.html
到了這里，關(guān)于YOLOv5改進(jìn)訓(xùn)練過程中置信度損失上升的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
