AI模型訓(xùn)練主要使用GPU的算力，GPU,顯卡這些知識大家都懂的，還是簡單說一下GPU吧：GPU是顯卡的核心部分，GPU承擔(dān)著與 CPU 不同的定位和功能，芯片設(shè)計思路也完全不同，GPU Core 小而且多，它不承擔(dān)系統(tǒng)管理、調(diào)度的功能，完全專注于使用(大量的)小核心并行化地執(zhí)行運(yùn)算。
GPU的幾個主要用途：
1、處理圖形渲染，包括游戲、視頻和動畫。
2、加速通用計算，如深度學(xué)習(xí)、科學(xué)模擬等。
3、高度并行處理，適用于大規(guī)模數(shù)據(jù)處理和處理密集型任務(wù)。
這里我們把NVIDIA顯示芯片的顯卡稱為N卡，而將采用AMD顯示芯片的顯卡稱為A卡，這兩種顯卡是目前的主流
Nvidia有個很有名次的編程框架CUDA，但是記住CUDA Core是商業(yè)營銷概念，不能單純用 CUDA Core的數(shù)量比較顯卡性能
Nvidia 中大名鼎鼎的就是A100了，下面看看A100的架構(gòu)
128個SM(流式多處理器)
?
流式多處理器包含TensorCore，TensorCore專門用于AI需要的矩陣運(yùn)算
再探談國產(chǎn)的華為昇騰AI芯片
?
華為昇騰AI芯片采用自研達(dá)芬奇架構(gòu)，集成了2個AI Core，是昇騰AI芯片的計算核心，主要負(fù)責(zé)執(zhí)行矩陣， 向量， 標(biāo)量計算密集的算子任務(wù)，華為昇騰AI芯片對TensorFlow、PyTorch這些深度學(xué)習(xí)框架都支持。
就應(yīng)用場景來說，升騰910主要被用于較小規(guī)模的AI任務(wù)，如人臉識別、圖像分類和目標(biāo)檢測，適合嵌入式設(shè)備或中小規(guī)模的數(shù)據(jù)中心。支持國產(chǎn)，過幾天會整理國產(chǎn)大模型ChatGLM，在升騰910上的部署、推理和訓(xùn)練的文章。
英偉達(dá)A100主要被用于大規(guī)模的數(shù)據(jù)中心和企業(yè)級應(yīng)用，如機(jī)器學(xué)習(xí)、人工智能和深度學(xué)習(xí)等方面的高強(qiáng)度計算。它可以處理大規(guī)模的數(shù)據(jù)集，提供更高的能力和對多任務(wù)并發(fā)工作負(fù)載的支持。
文章來源地址http://www.zghlxwxcb.cn/news/detail-746249.html
文章來源：http://www.zghlxwxcb.cn/news/detail-746249.html
到了這里，關(guān)于預(yù)熱篇1：大模型訓(xùn)練顯卡選型的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
