国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Pytorch Lightning 訓(xùn)練更新次數(shù)

2年前作者：_less is more分類：Toy博客閱讀(36)違法舉報

這篇具有很好參考價值的文章主要介紹了Pytorch Lightning 訓(xùn)練更新次數(shù)。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

假設(shè)一共1000個samples，batch size=4，因此一個epoch會有250 iterations，也就是會更新250次

當(dāng)設(shè)置Trainer時

trainer = pl.Trainer(gpus=1, precision=32, callbacks=[logger], max_steps=40, accumulate_grad_batches=2)

這個max_steps指的是最多更新的次數(shù)，這里也就是40次，而accumulate_grad_batches指的是每次更新前積累多少個batch，這里為2

因此，每次更新前實際上積累了2 * 4 = 8個samples的gradients（當(dāng)然是取了平均），而最多更新40次，因此最后訓(xùn)練完看到完成的iterations則是80，因為兩個iterations被積累到一起來更新

注意：不論這個max_steps和accumulate_grad_batches是多少，訓(xùn)練時顯示的log永遠都是正常訓(xùn)練（無梯度累計）時的樣子

Epoch 0:  32%|▎| 80/250 [02:41<05:39,  2.00s/it, loss=0.85, v_num=15, train/loss_simple_step=0.820, train/loss_v

即，這個250不會因為我們要累計兩個batches而變成125，而是保持為250，且訓(xùn)練完后可以看到完成了80個iterations

默認情況下，Pytorch Lightning在每個epoch結(jié)束后，會保存一次模型，每個epoch包含多少iterations是固定的，不會因為max_steps和accumulate_grad_batches的改變而改變，在上面的例子中即250。在最后一次更新完成后也會保存一次模型，不論是在epoch末尾還是中間。

值得注意的是，一個epoch后保存下載的模型的名稱

epoch=0-step=124.ckpt

這個step代表的是目前為止一共更新的次數(shù)，而不是iterations的數(shù)量。比如這個在epoch0結(jié)束后保存的模型，一共經(jīng)歷了125個更新steps，而每次step其實積累了兩個batch，即兩個iterations.

還需注意，默認情況Pytorch Lightning只會保存最新的model，然后會刪掉之前保存的舊的model文章來源地址http://www.zghlxwxcb.cn/news/detail-550921.html

到了這里，關(guān)于Pytorch Lightning 訓(xùn)練更新次數(shù)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符，請點擊違法舉報進行投訴反饋，一經(jīng)查實，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費用

PyTorch深度學(xué)習(xí)實戰(zhàn)（5）——計算機視覺
計算機視覺是指通過計算機系統(tǒng)對圖像和視頻進行處理和分析，利用計算機算法和方法，使計算機能夠模擬和理解人類的視覺系統(tǒng)。通過計算機視覺技術(shù)，計算機可以從圖像和視頻中提取有用的信息，實現(xiàn)對環(huán)境的感知和理解，從而幫助人們解決各種問題和提高效率。本節(jié)中
2024年02月15日
瀏覽(25)
【計算機視覺】YOLO 入門：訓(xùn)練 COCO128 數(shù)據(jù)集
我們以最近大熱的YOLOv8為例，回顧一下之前的安裝過程：這里選擇訓(xùn)練的數(shù)據(jù)集為：COCO128 COCO128是一個小型教程數(shù)據(jù)集，由COCOtrain2017中的前128個圖像組成。在YOLO中自帶的coco128.yaml文件： 1）可選的用于自動下載的下載命令/URL， 2）指向培訓(xùn)圖像目錄的路徑（或指向帶有培訓(xùn)
2024年02月10日
瀏覽(19)
PyTorch深度學(xué)習(xí)實戰(zhàn)（5）——計算機視覺基礎(chǔ)
計算機視覺是指通過計算機系統(tǒng)對圖像和視頻進行處理和分析，利用計算機算法和方法，使計算機能夠模擬和理解人類的視覺系統(tǒng)。通過計算機視覺技術(shù)，計算機可以從圖像和視頻中提取有用的信息，實現(xiàn)對環(huán)境的感知和理解，從而幫助人們解決各種問題和提高效率。本節(jié)中
2024年02月16日
瀏覽(21)
動手學(xué)CV-Pytorch計算機視覺天池計算機視覺入門賽SVHN數(shù)據(jù)集實戰(zhàn)
這里我們以datawhale和天池合作的天池計算機視覺入門賽為例，通過案例實戰(zhàn)來進一步鞏固本章所介紹的圖像分類知識。該比賽以SVHN街道字符為賽題數(shù)據(jù)，數(shù)據(jù)集報名后可見并可下載，該數(shù)據(jù)來
2024年02月04日
瀏覽(17)
計算機組成原理筆記（王道考研）（持續(xù)更新）
本文是對王道計算機考研《計算機組成原理》課程的總結(jié)，主講咸魚學(xué)長講的確實清晰。王道考研《計算機組成原理》由于我們學(xué)校已經(jīng)開設(shè)過匯編和計算機體系結(jié)構(gòu)，所以計組的筆記內(nèi)容會比較精煉，高屋建瓴，不適合無基礎(chǔ)人聽。如果有不理解的，可以回去看看我前面
2024年02月08日
瀏覽(23)
[匯總]計算機專業(yè)相關(guān)證書大全（持續(xù)更新...）
所有數(shù)據(jù) 來源于網(wǎng)絡(luò) ，每個證書數(shù)據(jù)來源會附在小節(jié)標題后。文章內(nèi)容僅作參考，沒有任何培訓(xùn)廣告。筆者只負責(zé)搜集整理，對于各證書含金量不做評價。證書排序按照收集的順序，沒有任何排名。內(nèi)容會盡量保持持續(xù)更新。由于能力有限，難免出現(xiàn)各種錯誤
2024年02月04日
瀏覽(34)
【計算機視覺中的 GAN 】如何穩(wěn)定GAN訓(xùn)練（3）
????在上一篇文章中，我們達到了理解未配對圖像到圖像翻譯的地步。盡管如此，在實現(xiàn)自己的超酷深度GAN模型之前，您必須了解一些非常重要的概念。如本文所提的GAN模型新成員的引入：Wasserstein distance，boundary equilibrium 和 progressively growing GAN三個方面。
2024年02月15日
瀏覽(23)
【計算機視覺】相機基本知識（還在更新）
面陣相機則主要采用的連續(xù)的、面狀掃描光線來實現(xiàn)產(chǎn)品的檢測；線陣相機即利用單束掃描光來進行物體掃描的工作的。（1）面陣CCD工業(yè)相機：優(yōu)點：應(yīng)用面較廣，如面積、形狀、尺寸、位置，甚至溫度等的測量。面陣CCD的優(yōu)點是可以獲取測量圖像直觀，二維圖像信息
2024年02月12日
瀏覽(26)
訓(xùn)練AI數(shù)據(jù)模型所需要的高性能計算機配置
? 目錄配置一配置二配置三云服務(wù)器和超級計算機 ???????AI模型訓(xùn)練是一種機器學(xué)習(xí)的過程，通過訓(xùn)練深度學(xué)習(xí)模型來自動化處理數(shù)據(jù)和完成任務(wù)。AI訓(xùn)練可以幫助企業(yè)和研究人員開發(fā)出更加智能、高效的應(yīng)用，從而提高生產(chǎn)力和創(chuàng)新能力。以下是按訓(xùn)練性能從低到高
2024年02月08日
瀏覽(20)
【計算機視覺】最近跑實驗的感悟：大模型訓(xùn)練太難了！
這里大模型訓(xùn)練特指基座大模型的從0開始訓(xùn)練，不包括在2000條數(shù)據(jù)上SFT這樣的小任務(wù)。有人說大模型嘛，簡單，給我卡就行，等到老板真給你買來了1000張卡你就知道有多難了，老板說，小王，卡買來了，三個月給我搞出來。然后你發(fā)現(xiàn)，就算有人把正確的代碼，數(shù)據(jù)，參
2024年02月09日
瀏覽(14)

<legend id="sx3dg"></legend>