前言
最近在學(xué)習(xí)用TensorFlow框架做NLP任務(wù),注意到huggingface中的transforms庫非常強大,于是開始學(xué)習(xí)用它來做相應(yīng)的任務(wù)。剛開始用這個庫沒多久,感覺確實操作起來既簡單又強大,于是打算深入學(xué)習(xí)。
- 學(xué)習(xí)過程中發(fā)現(xiàn),運行程序過程中,下載的模型和數(shù)據(jù)集是默認放在C盤的用戶目錄下的,為了減輕C盤負擔(dān),于是想更改其默認目錄,從官網(wǎng)了解到有兩種實現(xiàn)方式,一種是臨時指定cache_dir,另一種是直接設(shè)置環(huán)境變量,以下對二者進行說明。
關(guān)于windows上如何修改huggingface transformers默認緩存文件夾
- 官方對緩存地址的說明:
第一種方式:設(shè)置環(huán)境變量:
在windows上,為了以后使用方便,我采取了第一種設(shè)置緩存地址的方法,也就是設(shè)置TRANSFORMERS_CACHE環(huán)境變量,我將其設(shè)置在了用戶環(huán)境變量里面:接下來關(guān)鍵的一步:
在用戶環(huán)境變量Path或者系統(tǒng)環(huán)境變零PATH中添加:
%TRANSFORMERS_CACHE%
第二種方式:在調(diào)用from_pretrained函數(shù)時使用cache_dir入?yún)?,指定緩存文件夾名
如指定緩存位置為當前目錄:文章來源:http://www.zghlxwxcb.cn/news/detail-819472.html
AutoModel.from_pretrained('bert-base-chinese', cache_dir='./')
以上文章來源地址http://www.zghlxwxcb.cn/news/detail-819472.html
到了這里,關(guān)于【修改huggingface transformers默認緩存文件夾】的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!