現(xiàn)象:
大概原因:GPU運算完畢后,花費了大量時間在寫日志和存儲pth文件,所以GPU使用率一直過低,CPU使用率一直很高。
具體原因分析參見【深度學(xué)習(xí)】踩坑日記:模型訓(xùn)練速度過慢,GPU利用率低
這里直接上解決辦法:文章來源:http://www.zghlxwxcb.cn/news/detail-504649.html
- 減少日志IO操作頻率
- 使用pin_memory和num_workers(num_workers調(diào)整不合適,會顯示內(nèi)存不夠之類的問題,根據(jù)實際情況調(diào)整)
- 使用半精度訓(xùn)練
- 更好的顯卡,更輕的模型
- 增大batch size提高epoch速度,但是收斂速度也會變慢,需要再適當(dāng)升高學(xué)習(xí)率
本文解決辦法:這里我采用的是調(diào)整batch_size,由8調(diào)成10(本來想調(diào)成16,結(jié)果顯示GPU內(nèi)存不夠,只能調(diào)到10):文章來源地址http://www.zghlxwxcb.cn/news/detail-504649.html
到了這里,關(guān)于七、訓(xùn)練模型,CPU經(jīng)常100%,但是GPU使用率才5%左右的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!