?這里說一下常規(guī)的在kaggle上創(chuàng)建jupyter notebook
?點(diǎn)擊New Notebook后,進(jìn)入一個(gè)空的Notebook,可以在Data處創(chuàng)建上傳要進(jìn)行處理的數(shù)據(jù)。
其中可以選擇本地上傳,也可以直接點(diǎn)擊Add Data進(jìn)行查找開源的數(shù)據(jù)。
?點(diǎn)擊ACCELERATOR可以選擇要使用的GPU或TPU。如果不選擇默認(rèn)是使用自己筆記本的cpu
?保存:
torch.save(date,path)
其中date為保存數(shù)據(jù),path為路徑加文件名,如:torch.save(date,?'/kaggle/working'+".pt")
加載
torch.load('/kaggle/working/07pt')
直接選擇路徑下的文件名進(jìn)行l(wèi)oad
在output上刪除已經(jīng)存在的pt文件
import shutil
import os
if __name__ == '__main__':
path = '/kaggle/working'
if os.path.exists(path):
shutil.rmtree(path)
print('刪除完成')
else:
print('原本為空')
直接在code上進(jìn)行運(yùn)行,即可刪除所有working下的文件,選擇刪除其他路徑的文件只需要進(jìn)行改變path
這里在來介紹一下GPU和CPU
GPU
GPU這個(gè)概念是由Nvidia公司于1999年提出的。GPU是顯卡上的一塊芯片,就像CPU是主板上的一塊芯片。那么1999年之前顯卡上就沒有GPU嗎?當(dāng)然有,只不過那時(shí)候沒有人給它命名,也沒有引起人們足夠的重視,發(fā)展比較慢。
自Nvidia提出GPU這個(gè)概念后,GPU就進(jìn)入了快速發(fā)展時(shí)期。簡單來說,其經(jīng)過了以下幾個(gè)階段的發(fā)展:
1)僅用于圖形渲染,此功能是GPU的初衷,這一點(diǎn)從它的名字就可以看出:Graphic Processing Unit,圖形處理單元;
2)后來人們發(fā)現(xiàn),GPU這么一個(gè)強(qiáng)大的器件只用于圖形處理太浪費(fèi)了,它應(yīng)該用來做更多的工作,例如浮點(diǎn)運(yùn)算。怎么做呢?直接把浮點(diǎn)運(yùn)算交給GPU是做不到的,因?yàn)樗荒苡糜趫D形處理(那個(gè)時(shí)候)。最容易想到的,是把浮點(diǎn)運(yùn)算做一些處理,包裝成圖形渲染任務(wù),然后交給GPU來做。這就是GPGPU(General Purpose GPU)的概念。不過這樣做有一個(gè)缺點(diǎn),就是你必須有一定的圖形學(xué)知識(shí),否則你不知道如何包裝。
3)于是,為了讓不懂圖形學(xué)知識(shí)的人也能體驗(yàn)到GPU運(yùn)算的強(qiáng)大,Nvidia公司又提出了CUDA的概念。
什么是CUDA?
CUDA(Compute Unified Device Architecture),通用并行計(jì)算架構(gòu),是一種運(yùn)算平臺(tái)。它包含CUDA指令集架構(gòu)以及GPU內(nèi)部的并行計(jì)算引擎。你只要使用一種類似于C語言的CUDA C語言,就可以開發(fā)CUDA程序,從而可以更加方便的利用GPU強(qiáng)大的計(jì)算能力,而不是像以前那樣先將計(jì)算任務(wù)包裝成圖形渲染任務(wù),再交由GPU處理。
TPU(Tensor Processing Unit)即張量處理單元,是一款為機(jī)器學(xué)習(xí)而定制的芯片,經(jīng)過了專門深度機(jī)器學(xué)習(xí)方面的訓(xùn)練,它有更高效能(每瓦計(jì)算能力)。
因?yàn)樗芗铀倨涞诙斯ぶ悄芟到y(tǒng)TensorFlow的運(yùn)行,而且效率也大大超過GPU――Google的深層神經(jīng)網(wǎng)絡(luò)就是由TensorFlow引擎驅(qū)動(dòng)的。TPU是專為機(jī)器學(xué)習(xí)量身定做的,執(zhí)行每個(gè)操作所需的晶體管數(shù)量更少,自然效率更高。
TPU與同期的CPU和GPU相比,可以提供15-30倍的性能提升,以及30-80倍的效率(性能/瓦特)提升。
TPU每瓦能為機(jī)器學(xué)習(xí)提供比所有商用GPU和FPGA更高的量級(jí)指令,這基本相當(dāng)于7年后的科技水平。TPU是為機(jī)器學(xué)習(xí)應(yīng)用特別開發(fā),以使芯片在計(jì)算精度降低的情況下更耐用,這意味每一個(gè)操作只需要更少的晶體管,用更多精密且大功率的機(jī)器學(xué)習(xí)模型,并快速應(yīng)用這些模型,因此用戶便能得到更正確的結(jié)果。文章來源:http://www.zghlxwxcb.cn/news/detail-466390.html
二者的應(yīng)用的優(yōu)勢(shì)不同,可根據(jù)不同的需求來進(jìn)行選擇
?文章來源地址http://www.zghlxwxcb.cn/news/detail-466390.html
到了這里,關(guān)于如何在kaggle上保存、加載文件,同時(shí)在output上刪除已經(jīng)保存的文件。的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!