機(jī)器學(xué)習(xí)和人工智能應(yīng)用有多種類型——從傳統(tǒng)的回歸模型、非神經(jīng)網(wǎng)絡(luò)分類器和以 Python SciKitLearn 和 R 語(yǔ)言的功能為代表的統(tǒng)計(jì)模型，到使用 PyTorch 和 TensorFlow 等框架的深度學(xué)習(xí)模型. 在這些不同類型的 ML/AI 模型中，也可能存在顯著差異?！白罴选庇布⒆裱恍?biāo)準(zhǔn)模式，但您的特定應(yīng)用程序可能有獨(dú)特的最佳要求。

我們的建議將基于典型工作流程的一般性。請(qǐng)注意，這主要針對(duì)用于編程模型“訓(xùn)練”而不是“推理”的 ML/DL 工作站硬件。

處理器（中央處理器）

在 ML/AI 領(lǐng)域，GPU 加速在大多數(shù)情況下主導(dǎo)性能。但是，處理器和主板定義了支持該平臺(tái)的平臺(tái)。還有一個(gè)現(xiàn)實(shí)是，必須花費(fèi)大量精力進(jìn)行數(shù)據(jù)分析和清理以準(zhǔn)備在 GPU 中進(jìn)行訓(xùn)練，而這通常是在 CPU 上完成的。當(dāng)板載內(nèi)存 (VRAM) 可用性等 GPU 限制需要時(shí)，CPU 也可以作為主要計(jì)算引擎。

什么 CPU 最適合機(jī)器學(xué)習(xí)和人工智能？

推薦的兩個(gè) CPU 平臺(tái)是 Intel Xeon W 和 AMD Threadripper Pro。這是因?yàn)樗鼈兌继峁┝顺錾目煽啃?，可以為多個(gè)視頻卡 (GPU) 提供所需的 PCI-Express 通道，并在 CPU 空間中提供出色的內(nèi)存性能。我們通常建議使用單路 CPU 工作站來(lái)減少跨多 CPU 互連的內(nèi)存映射問(wèn)題，這可能會(huì)導(dǎo)致將內(nèi)存映射到 GPU 的問(wèn)題。

更多的 CPU 內(nèi)核會(huì)使機(jī)器學(xué)習(xí)和 AI 更快嗎？

選擇的內(nèi)核數(shù)量將取決于非 GPU 任務(wù)的預(yù)期負(fù)載。根據(jù)經(jīng)驗(yàn)，建議每個(gè) GPU 加速器至少有 4 個(gè)內(nèi)核。但是，如果您的工作負(fù)載具有重要的 CPU 計(jì)算組件，那么 32 甚至 64 個(gè)內(nèi)核可能是理想的選擇。在任何情況下，16 核處理器通常被認(rèn)為是此類工作站的最低要求。

機(jī)器學(xué)習(xí)和 AI 與 Intel 或 AMD CPU 配合使用效果更好嗎？

這個(gè)領(lǐng)域的品牌選擇主要是偏好問(wèn)題，至少如果您的工作負(fù)載以 GPU 加速為主。但是，如果您的工作流程可以從英特爾 oneAPI AI 分析工具包中的某些工具中獲益，則英特爾平臺(tái)會(huì)更可取 。

為什么推薦 Xeon 或 Threadripper Pro 而不是更“消費(fèi)者”級(jí)別的 CPU？

對(duì) ML 和 AI 工作負(fù)載提出此建議的最重要原因是這些 CPU 支持的 PCI-Express 通道數(shù)量，這將決定可以使用多少 GPU。Intel Xeon W-3300 和 AMD Threadripper Pro 3000 系列都支持足夠的 PCIe 通道用于三個(gè)或四個(gè) GPU（取決于主板布局、機(jī)箱空間和功耗）。此類處理器還支持 8 個(gè)內(nèi)存通道，這會(huì)對(duì) CPU 密集型工作負(fù)載的性能產(chǎn)生重大影響。另一個(gè)考慮因素是這些處理器是“企業(yè)級(jí)”的，并且整個(gè)平臺(tái)在持續(xù)的重計(jì)算負(fù)載下可能很健壯。

顯卡 (GPU)

自 2010 年代中期以來(lái)，GPU 加速一直是推動(dòng)機(jī)器學(xué)習(xí)和人工智能研究快速發(fā)展的驅(qū)動(dòng)力。2019 年底，Don Kinghorn 博士 撰寫(xiě)了一篇博文 ，討論了 NVIDIA 在該領(lǐng)域產(chǎn)生的巨大影響。對(duì)于深度學(xué)習(xí)訓(xùn)練，圖形處理器提供了比 CPU 更顯著的性能提升。

哪種類型的 GPU（顯卡）最適合機(jī)器學(xué)習(xí)和人工智能？

NVIDIA 在 GPU 計(jì)算加速方面占據(jù)主導(dǎo)地位，毫無(wú)疑問(wèn)是標(biāo)準(zhǔn)。他們的 GPU 將是最受支持和最容易使用的。還有其他加速器，例如一些高端 AMD GPU、來(lái)自不同制造商的 FPGA，以及其他具有潛力的新興 ML 加速處理器——但它們目前的可用性和可用性將排除我們推薦它們的可能性。

?

?

機(jī)器學(xué)習(xí)和 AI 推薦使用哪些顯卡？

幾乎所有 NVIDIA 顯卡都可以工作，更新和更高端的型號(hào)通常提供更好的性能。幸運(yùn)的是，大多數(shù)具有 GPU 加速的 ML / AI 應(yīng)用程序在單精度 (FP32) 下運(yùn)行良好。在許多情況下，使用具有混合精度的 Tensor 核心 (FP16) 可為深度學(xué)習(xí)模型訓(xùn)練提供足夠的準(zhǔn)確性，并提供比“標(biāo)準(zhǔn)”FP32 顯著的性能提升。大多數(shù)最新的 NVIDIA GPU 都具有此功能，但低端卡除外。

?

?

NVIDIA 的 GeForce RTX 4080 和 4090 等消費(fèi)類顯卡可提供非常出色的性能，但由于其散熱設(shè)計(jì)和物理尺寸，可能難以在具有兩個(gè)以上 GPU 的系統(tǒng)中進(jìn)行配置。RTX A5000 和 A6000 等“專業(yè)”NVIDIA GPU 質(zhì)量高，往往具有更多板載內(nèi)存，并且在多 GPU 配置中運(yùn)行良好。特別是 RTX A6000，其 48GB VRAM，推薦用于處理具有“大特征尺寸”的數(shù)據(jù)，例如更高分辨率的圖像、3D 圖像等。

機(jī)器學(xué)習(xí)和 AI 需要多少 VRAM（顯存）？

這取決于模型訓(xùn)練的“特征空間”。GPU 上的內(nèi)存容量有限，ML 模型和框架受到可用 VRAM 的限制。這就是為什么在訓(xùn)練之前進(jìn)行“數(shù)據(jù)和特征縮減”是很常見(jiàn)的原因。例如，訓(xùn)練數(shù)據(jù)的圖像通常分辨率較低，因?yàn)橄袼財(cái)?shù)量成為限制性關(guān)鍵特征維度。然而，盡管存在這些限制，該領(lǐng)域還是取得了巨大的成功！每個(gè) GPU 8GB 的?內(nèi)存被認(rèn)為是最小的，并且肯定是許多應(yīng)用程序的限制。12 到 24GB 相當(dāng)普遍，并且在高端視頻卡上很容易獲得。對(duì)于更大的數(shù)據(jù)問(wèn)題，NVIDIA RTX A6000 上可用的 48GB 可能是必需的——但通常不需要。

多個(gè)GPU會(huì)提高機(jī)器學(xué)習(xí)和人工智能的性能嗎？

一般是的。在我們推薦的配置中，我們默認(rèn)使用多個(gè)顯卡，但此提供的好處可能會(huì)受到您正在進(jìn)行的開(kāi)發(fā)工作的限制。所使用的框架或程序必須支持多 GPU 加速。幸運(yùn)的是，多 GPU 支持現(xiàn)在在 ML 和 AI 應(yīng)用程序中很常見(jiàn)——但如果您在沒(méi)有現(xiàn)代框架的情況下進(jìn)行開(kāi)發(fā)工作，那么您可能不得不自己實(shí)施它。

另請(qǐng)記住，像 NVIDIA RTX 3090 或 A5000 這樣的單個(gè) GPU 可以提供顯著的性能，并且可能足以滿足您的應(yīng)用程序。在工作站中擁有 2 個(gè)、3 個(gè)甚至 4 個(gè) GPU 可以提供驚人的計(jì)算能力，甚至可能足以解決許多大型問(wèn)題。還建議在進(jìn)行開(kāi)發(fā)工作時(shí)至少有兩個(gè) GPU，以啟用多 GPU 功能和縮放的本地測(cè)試——即使“生產(chǎn)”作業(yè)將被卸載到單獨(dú)的 GPU 計(jì)算集群。

機(jī)器學(xué)習(xí)和 AI 在 NVIDIA 或 AMD 上運(yùn)行得更好嗎？

為了使 AMD GPU 可用于該領(lǐng)域，正在做一些工作，英特爾很快就會(huì)進(jìn)入該領(lǐng)域，但實(shí)際上 NVIDIA 占據(jù)主導(dǎo)地位，并且在計(jì)算 GPU 背后進(jìn)行了十多年的成功、密集的研究和開(kāi)發(fā)工作。

機(jī)器學(xué)習(xí)和人工智能需要“專業(yè)”顯卡嗎？

不會(huì)。NVIDIA GeForce RTX 3080、3080 Ti 和 3090 是適合此類工作負(fù)載的出色 GPU。但是，由于散熱和尺寸限制，“pro”系列 RTX A5000 和高內(nèi)存 A6000 最適合具有三個(gè)或四個(gè) GPU 的配置。從歷史上看，現(xiàn)代 ML/AI 是在 NVIDIA 游戲 GPU 上開(kāi)發(fā)的，它們?cè)陂_(kāi)發(fā)工作站中仍然很常見(jiàn)。對(duì)于要求最嚴(yán)苛的工作負(fù)載，出色的 NVIDIA 計(jì)算 GPU A100 可用于機(jī)架式配置。它們非常昂貴，但性能驚人。

使用多個(gè) GPU 進(jìn)行機(jī)器學(xué)習(xí)和 AI 時(shí)是否需要 NVLink？

NVIDIA 的 NVLink 在一對(duì) GPU 之間提供直接的高性能通信橋梁。這是否有益取決于問(wèn)題類型。對(duì)于訓(xùn)練多種類型的模型，不需要它。但是，對(duì)于任何具有“歷史”組件的模型，例如 RNN、LSTM、時(shí)間序列，尤其是 Transformer 模型，NVLink 可以提供顯著的加速，因此推薦使用。請(qǐng)注意，并非所有 NVIDIA GPU 都支持 NVLink，而且它只能橋接兩張卡。

內(nèi)存（隨機(jī)存取存儲(chǔ)器）

ML/AI 系統(tǒng) CPU 端的內(nèi)存容量和性能當(dāng)然取決于正在運(yùn)行的作業(yè)，但可能是一個(gè)非常重要的考慮因素，并且有一些最低限度的建議。

機(jī)器學(xué)習(xí)和人工智能需要多少 RAM？

第一條經(jīng)驗(yàn)法則是 CPU 內(nèi)存量至少是系統(tǒng)中總 GPU 內(nèi)存量的兩倍。例如，具有 2 個(gè) GeForce RTX 3090 GPU 的系統(tǒng)將具有 48GB 的??總 VRAM – 因此系統(tǒng)應(yīng)配置為 128GB（96GB 是兩倍，但 128GB 通常是最接近的可配置數(shù)量）。

第二個(gè)考慮因素是需要多少數(shù)據(jù)分析。通常需要（或至少希望）能夠?qū)⑼暾臄?shù)據(jù)集拉入內(nèi)存以進(jìn)行處理和統(tǒng)計(jì)工作。這可能意味著大內(nèi)存需求，多達(dá) 1TB（或很少甚至更多）的系統(tǒng)內(nèi)存。這是我們建議使用工作站和服務(wù)器級(jí)處理器的原因之一：它們比消費(fèi)類芯片支持更多的系統(tǒng)內(nèi)存。

存儲(chǔ)（硬盤）

存儲(chǔ)是“超出您的想象”可能是個(gè)好主意的領(lǐng)域之一。此處的最低要求類似于 CPU 內(nèi)存要求。畢竟，您的數(shù)據(jù)和項(xiàng)目必須可用！

哪種存儲(chǔ)配置最適合機(jī)器學(xué)習(xí)和人工智能？

建議盡可能使用快速 NVMe 存儲(chǔ)，因?yàn)楫?dāng)數(shù)據(jù)太大而無(wú)法放入系統(tǒng)內(nèi)存時(shí)，數(shù)據(jù)流速度可能成為瓶頸。從 NVMe 暫存作業(yè)運(yùn)行可以減少作業(yè)運(yùn)行速度減慢。NVMe 驅(qū)動(dòng)器通常提供高達(dá) 4TB 的容量。

與用于暫存作業(yè)的快速 NVMe 存儲(chǔ)一起，更傳統(tǒng)的基于 SATA 的 SSD 提供更大的容量，可用于超過(guò)典型 NVMe 驅(qū)動(dòng)器容量的數(shù)據(jù)。8TB 通?？捎糜?SATA SSD。

盤片驅(qū)動(dòng)器可用于歸檔存儲(chǔ)和非常大的數(shù)據(jù)集?，F(xiàn)已提供 18TB+ 容量。

此外，上述所有驅(qū)動(dòng)器類型都可以配置為 RAID 陣列。這確實(shí)增加了系統(tǒng)配置的復(fù)雜性，并且可能會(huì)用完主板上本來(lái)可以支持額外 GPU 的插槽——但可以允許 10 到 100 TB 的存儲(chǔ)空間。

總結(jié)

機(jī)器學(xué)習(xí)和人工智能的硬件配置要求很高的，可能配置起來(lái)可以流暢進(jìn)行運(yùn)算和設(shè)計(jì)的電腦都需要上萬(wàn)元，而且還不能根據(jù)你后期的需求來(lái)彈性的安排硬件，最終花大價(jià)錢搞定的電腦不到2年就要再去更換，如果是企業(yè)遇到這種需要大批量采購(gòu)電腦的情況，用完之后再有業(yè)務(wù)需求需要彈性擴(kuò)容的情況，那之前的硬件投入的資金就要浪費(fèi)掉了，為了避免浪費(fèi)以及低成本高效率的辦公，企業(yè)和個(gè)人都選擇贊奇云工作站，隨開(kāi)隨用，按需收費(fèi)，高效一鍵上云，企業(yè)客戶量多從優(yōu)，優(yōu)惠多多，幫助企業(yè)節(jié)省成本，一定要試試。

上贊奇云工作站不需要復(fù)雜的安裝和部署，就能隨時(shí)隨地享受到行業(yè)領(lǐng)先配置的機(jī)器，高畫(huà)質(zhì)穩(wěn)定輸出作品，減少本地配置時(shí)間和成本投入，完全不同擔(dān)心電腦卡頓、運(yùn)行不動(dòng)等問(wèn)題。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-423438.html

到了這里，關(guān)于2023什么電腦配置適合機(jī)器學(xué)習(xí)和人工智能的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！