1. 超算

超級(jí)計(jì)算機(jī)（Supercomputer）是一種計(jì)算力極強(qiáng)的計(jì)算機(jī)，學(xué)術(shù)界通常稱這一領(lǐng)域?yàn)楦咝阅苡?jì)算（High-Performance Computing）。超級(jí)計(jì)算機(jī)主要為最頂尖的科學(xué)研究服務(wù)，包括核聚變模擬、石油勘探、量子力學(xué)、氣候模擬、癌癥研究、基因組學(xué)、分子動(dòng)力學(xué)、飛機(jī)和航天器空氣動(dòng)力學(xué)、量化金融、計(jì)量經(jīng)濟(jì)和當(dāng)前火熱的各類民用人工智能。簡而言之，超算（超級(jí)計(jì)算機(jī)）主要用于處理復(fù)雜的科學(xué)計(jì)算、模擬和大規(guī)模數(shù)據(jù)處理等任務(wù)，具備出色的計(jì)算性能和處理能力。

從實(shí)現(xiàn)上來看，超級(jí)計(jì)算機(jī)是一種高性能計(jì)算集群，集群有眾多計(jì)算節(jié)點(diǎn)，通常由大量的處理器、高速互聯(lián)網(wǎng)絡(luò)和大容量存儲(chǔ)器組成。集群由眾多計(jì)算節(jié)點(diǎn)組成，由集群管理系統(tǒng)通過高速IB網(wǎng)或?qū)Ｓ镁W(wǎng)絡(luò)將多個(gè)計(jì)算機(jī)節(jié)點(diǎn)連接在一起，統(tǒng)一調(diào)度管理，從而實(shí)現(xiàn)強(qiáng)大的計(jì)算功能。

當(dāng)前，多數(shù)高性能計(jì)算系統(tǒng)都是通過加持GPU來實(shí)現(xiàn)超高性能的，也就是常說的GPU運(yùn)算，不同于CPU，GPU一般集成了上千個(gè)核心于一體，具備普通CPU無法比擬的浮點(diǎn)計(jì)算性能，因此非常適用于圖像處理、虛擬現(xiàn)實(shí)和計(jì)算機(jī)仿真等一類科學(xué)領(lǐng)域的應(yīng)用，近幾年發(fā)展火熱的人工智能、機(jī)器學(xué)習(xí)等技術(shù)應(yīng)用背后也是依靠GPU運(yùn)算在做支撐。

從實(shí)際使用上看，并不是將成千上萬個(gè)CPU和GPU都拿過來跑一個(gè)任務(wù)，也不是某一個(gè)人獨(dú)占，而是按需所取，使用一種叫做調(diào)度器的軟件來分配計(jì)算資源。超級(jí)計(jì)算機(jī)上的CPU和GPU等計(jì)算資源更像是城市中的共享單車，服務(wù)方先提供好一批計(jì)算資源放置在那里，使用方如有需求，向調(diào)度器申請(qǐng)，如有閑置的資源則分配給需求方。超算中心提供一個(gè)共享的資源池，每個(gè)用戶每次占用部分資源，多個(gè)用戶在調(diào)度器的調(diào)度下按照一定的規(guī)則排隊(duì)。當(dāng)然，這個(gè)資源池越大，每個(gè)用戶能夠獲得的資源就會(huì)越多，排隊(duì)等待的時(shí)間也就越短，加上一些合理的編程優(yōu)化，每個(gè)計(jì)算任務(wù)的耗時(shí)就會(huì)越短，以此加速科研進(jìn)程。

補(bǔ)充1：CPU與GPU的特點(diǎn)與優(yōu)勢

• 首先，CPU在處理邏輯和控制流方面表現(xiàn)出色，而GPU在并行計(jì)算和數(shù)據(jù)密集型任務(wù)方面具備強(qiáng)大的計(jì)算能力。將CPU和GPU融合在一起，可以充分發(fā)揮它們的優(yōu)勢，提供更全面、更強(qiáng)大的計(jì)算能力。
• 其次，CPU和GPU的融合可以減少數(shù)據(jù)傳輸和通信的開銷。通常情況下，GPU作為加速器與CPU之間需要頻繁進(jìn)行數(shù)據(jù)傳輸，這會(huì)導(dǎo)致較大的延遲和能耗。通過將CPU和GPU融合在一起，可以實(shí)現(xiàn)更緊密的協(xié)作和數(shù)據(jù)共享，減少數(shù)據(jù)傳輸?shù)男枨?，提高?jì)算效率和性能。
• 第三，融合CPU和GPU還可以簡化系統(tǒng)架構(gòu)和編程模型。當(dāng)前，使用GPU進(jìn)行加速計(jì)算需要使用專門的編程模型（如CUDA或OpenCL），并且需要管理CPU和GPU之間的數(shù)據(jù)傳輸和同步。然而，將CPU和GPU融合在一起，可以使用統(tǒng)一的編程模型，簡化編程和系統(tǒng)管理的復(fù)雜性。
• 最后，融合CPU和GPU還可以降低系統(tǒng)成本和功耗。獨(dú)立的CPU和GPU需要占用額外的硬件資源和能源消耗。而將它們?nèi)诤显谝黄?，可以?jié)省硬件成本、減少系統(tǒng)功耗，提高能源效率。

補(bǔ)充2：超算vs云計(jì)算
超算與云計(jì)算有些相似，但不同的地方在于：

• 云計(jì)算一般將一臺(tái)物理機(jī)上安裝多臺(tái)虛擬機(jī)，用戶在一個(gè)虛擬機(jī)資源池上申請(qǐng)資源；
• 超算上的程序一般直接跑在物理機(jī)上。

虛擬機(jī)會(huì)導(dǎo)致性能的損耗，其優(yōu)點(diǎn)在于將資源劃分的粒度更細(xì)，虛擬機(jī)資源能夠的到充分利用。物理機(jī)的優(yōu)勢在于硬件性能可以100%提供給使用者，缺點(diǎn)是如果使用不當(dāng)，會(huì)造成硬件資源的浪費(fèi)。

近年來，隨著虛擬化技術(shù)的成熟，虛擬機(jī)的損耗越來越小，超算也在往虛擬化方向發(fā)展，超算和云計(jì)算之間界線似乎不那么明顯。

2. 高性能計(jì)算

高性能計(jì)算（High Performance Computing，HPC）是指利用超級(jí)計(jì)算機(jī)或高性能計(jì)算機(jī)來解決需要大量計(jì)算資源和高速數(shù)據(jù)處理的問題。高性能計(jì)算側(cè)重于提供強(qiáng)大的計(jì)算能力和高效的數(shù)據(jù)處理能力，通常運(yùn)行復(fù)雜的科學(xué)模型、大規(guī)模的數(shù)值模擬和數(shù)據(jù)分析等任務(wù)。

• 高性能計(jì)算（High Performance Computing，HPC）是一種計(jì)算領(lǐng)域的技術(shù)和方法，旨在利用超級(jí)計(jì)算機(jī)或高性能計(jì)算機(jī)解決需要大量計(jì)算資源和高速數(shù)據(jù)處理的復(fù)雜問題。
• 高性能計(jì)算的主要目標(biāo)是提供強(qiáng)大的計(jì)算能力和高效的數(shù)據(jù)處理能力，以應(yīng)對(duì)科學(xué)、工程、商業(yè)和其他領(lǐng)域中日益增長的計(jì)算需求。它通常用于處理大規(guī)模的、計(jì)算密集型的任務(wù)，涉及復(fù)雜的模擬、建模、仿真、優(yōu)化和數(shù)據(jù)分析等應(yīng)用。

高性能計(jì)算通常依賴的計(jì)算機(jī)系統(tǒng)具有以下特點(diǎn)：

1. 高度并行化：高性能計(jì)算系統(tǒng)能夠同時(shí)執(zhí)行多個(gè)計(jì)算任務(wù)，利用并行處理來提高計(jì)算速度和效率。它可以包括多個(gè)處理器、多個(gè)計(jì)算節(jié)點(diǎn)、多核處理器、加速器（如GPU）等，以支持并行計(jì)算。
2. 大規(guī)模存儲(chǔ)器：高性能計(jì)算通常需要處理大規(guī)模的數(shù)據(jù)集。因此，它需要具備大容量和高帶寬的存儲(chǔ)系統(tǒng)，以存儲(chǔ)和訪問海量數(shù)據(jù)。
3. 高速互聯(lián)網(wǎng)絡(luò)：高性能計(jì)算系統(tǒng)中的計(jì)算節(jié)點(diǎn)需要通過高速互聯(lián)網(wǎng)絡(luò)進(jìn)行通信和數(shù)據(jù)交換。這樣可以實(shí)現(xiàn)節(jié)點(diǎn)之間的數(shù)據(jù)共享、協(xié)作和任務(wù)調(diào)度。
4. 高性能軟件和編程模型：高性能計(jì)算需要使用高效的算法和優(yōu)化技術(shù)來充分發(fā)揮硬件的計(jì)算能力。并行編程模型如MPI（Message Passing Interface）和OpenMP（Open Multi-Processing）等被廣泛用于高性能計(jì)算應(yīng)用的開發(fā)和優(yōu)化。

3. 并行計(jì)算

并行計(jì)算（Parallel Computing）是指同時(shí)執(zhí)行多個(gè)計(jì)算任務(wù)，以便更快地完成工作?？煞譃?strong>時(shí)間并行和空間并行。時(shí)間并行即利用多條流水線同時(shí)作業(yè)，空間并行是指使用多個(gè)處理器執(zhí)行并發(fā)計(jì)算，以降低解決復(fù)雜問題所需要的時(shí)間。

并行計(jì)算過程涉及將一個(gè)大型計(jì)算問題分成多個(gè)小問題，然后在多個(gè)處理單元（通常是 CPU 核心或多個(gè)計(jì)算機(jī)）上同時(shí)處理這些小問題。這種方式可以顯著提高計(jì)算速度和效率，尤其是在需要處理大規(guī)模數(shù)據(jù)或復(fù)雜數(shù)學(xué)模型的情況下。并行計(jì)算可應(yīng)用于各種規(guī)模的計(jì)算系統(tǒng)，包括超級(jí)計(jì)算機(jī)、多核處理器、GPU等。通常，我們可以認(rèn)為并行計(jì)算是高性能計(jì)算的學(xué)術(shù)上的叫法。

為執(zhí)行并行計(jì)算，計(jì)算資源應(yīng)包括一臺(tái)配有多處理機(jī)（并行處理）的計(jì)算機(jī)、一個(gè)與網(wǎng)絡(luò)相連的計(jì)算機(jī)專有編號(hào)，或者兩者結(jié)合使用。并行計(jì)算主要目的在于兩個(gè)方面：?
(1)?加速求解問題的速度。
(2)?提高求解問題的規(guī)模。

為提高計(jì)算效率，并行計(jì)算處理問題一般分為以下三步：?
（1）將工作分離成離散獨(dú)立部分，有助于同時(shí)解決；??
（2）同時(shí)并及時(shí)地執(zhí)行多個(gè)程序指令；???
（3）將處理完的結(jié)果返回主機(jī)經(jīng)一定處理后顯示輸出。

并行計(jì)算需滿足的基本條件

1. 并行計(jì)算機(jī)。并行計(jì)算機(jī)至少包含兩臺(tái)或兩臺(tái)以上處理機(jī)，這此處理機(jī)通過互聯(lián)網(wǎng)絡(luò)相互連接，相互通信。
2. 應(yīng)用問題必須具有并行度。也就是說，應(yīng)用可以分解為多個(gè)子任務(wù)，這些子任務(wù)可以并行地執(zhí)行。將一個(gè)應(yīng)用分解為多個(gè)子任務(wù)的過程，稱為并行算法的設(shè)計(jì)。
3. 并行編程。在并行計(jì)算機(jī)提供的并行編程環(huán)境上，具體實(shí)現(xiàn)并行算法，編制并行程序并運(yùn)行該程序，從而達(dá)到并行求解應(yīng)用問題的目的。

補(bǔ)充3：串行計(jì)算方式vs并行計(jì)算方式

從上圖可以看出，串行計(jì)算必須按步驟一步一步計(jì)算才能出來最終結(jié)果。而并行計(jì)算則要將問題分成N多個(gè)子任務(wù)，每個(gè)子任務(wù)并行執(zhí)行計(jì)算。而每個(gè)子任務(wù)是非獨(dú)立的，每個(gè)子任務(wù)的計(jì)算結(jié)果決定最終的結(jié)果。這個(gè)和分布式計(jì)算不同。

4. 分布式計(jì)算

分布式計(jì)算（Distributed Computing）是指將計(jì)算任務(wù)分布到多臺(tái)計(jì)算機(jī)或計(jì)算節(jié)點(diǎn)上進(jìn)行并行計(jì)算的方法。分布式計(jì)算系統(tǒng)通常由多個(gè)獨(dú)立的計(jì)算節(jié)點(diǎn)組成，通過網(wǎng)絡(luò)進(jìn)行通信和協(xié)作。分布式計(jì)算可通過利用多臺(tái)計(jì)算機(jī)的計(jì)算資源來解決大規(guī)模的計(jì)算問題，提高計(jì)算效率和吞吐量。

補(bǔ)充4：并行計(jì)算與分布式計(jì)算的區(qū)別
并行計(jì)算更多的是為了解決高性能計(jì)算的問題，更多的強(qiáng)調(diào)計(jì)算性能；分布式計(jì)算一般是為了解決任務(wù)量大的計(jì)算問題。并行計(jì)算是在同一臺(tái)計(jì)算機(jī)上同時(shí)處理多個(gè)任務(wù)，而分布式計(jì)算是將任務(wù)分發(fā)到多個(gè)計(jì)算機(jī)或節(jié)點(diǎn)上。

• 并行計(jì)算一般用于解決需要大量計(jì)算的問題，如生命科學(xué)研究中的分子動(dòng)力學(xué)分析、地質(zhì)勘探中的地震建模、成像、轉(zhuǎn)位等，這些計(jì)算任務(wù)數(shù)量不多，但每個(gè)任務(wù)都需耗費(fèi)極強(qiáng)的計(jì)算能力。
• 分布式計(jì)算一般應(yīng)用于超大任務(wù)量的場景，如當(dāng)今非常流行的hadoop分布式系統(tǒng)就非常適合用來處理海量數(shù)據(jù)，淘寶的分布式系統(tǒng)TFS（Taobao File System）每天都可以處理千萬乃至上億次的訂單等。

5. 網(wǎng)格計(jì)算

網(wǎng)格計(jì)算是一種計(jì)算基礎(chǔ)設(shè)施，它結(jié)合了分布在不同地理位置的計(jì)算機(jī)資源以實(shí)現(xiàn)共同目標(biāo)。多臺(tái)計(jì)算機(jī)上所有未使用的資源都匯集在一起，可供單個(gè)任務(wù)使用。組織使用網(wǎng)格計(jì)算來執(zhí)行大型任務(wù)或解決在單臺(tái)計(jì)算機(jī)上難以完成的復(fù)雜問題。

例如，氣象學(xué)家使用網(wǎng)格計(jì)算進(jìn)行天氣建模。天氣建模是一種計(jì)算密集型問題，需要執(zhí)行復(fù)雜的數(shù)據(jù)管理和分析。在單臺(tái)計(jì)算機(jī)上處理大量天氣數(shù)據(jù)不僅緩慢，而且相當(dāng)耗時(shí)。為此，氣象學(xué)家在地理上分散的網(wǎng)格計(jì)算基礎(chǔ)設(shè)施上運(yùn)行分析并結(jié)合結(jié)果。

從效率上看，使用網(wǎng)格計(jì)算，可以將一個(gè)龐大而復(fù)雜的任務(wù)分解為多個(gè)子任務(wù)。多臺(tái)計(jì)算機(jī)可以同時(shí)處理子任務(wù)，這使網(wǎng)格計(jì)算成為一種高效的計(jì)算解決方案。
從成本來看，網(wǎng)格計(jì)算適用于現(xiàn)有硬件，這意味著可以重復(fù)使用現(xiàn)有計(jì)算機(jī)?？梢栽谠L問多余的計(jì)算資源的同時(shí)節(jié)省成本。還可以經(jīng)濟(jì)高效地訪問云中的資源。
靈活性方面，網(wǎng)格計(jì)算不限于特定的建筑物或位置?？梢越⒁粋€(gè)跨越多個(gè)區(qū)域的網(wǎng)格計(jì)算網(wǎng)絡(luò)。這使得不同國家的研究人員可以使用相同的超級(jí)計(jì)算能力進(jìn)行協(xié)作。

網(wǎng)格計(jì)算中需要有哪些組件？

1. 節(jié)點(diǎn)。網(wǎng)格計(jì)算網(wǎng)絡(luò)上的計(jì)算機(jī)或服務(wù)器稱為節(jié)點(diǎn)。每個(gè)節(jié)點(diǎn)向網(wǎng)格網(wǎng)絡(luò)提供未使用的計(jì)算資源，例如 CPU、內(nèi)存和存儲(chǔ)。同時(shí)，還可以使用節(jié)點(diǎn)執(zhí)行其他不相關(guān)的任務(wù)。網(wǎng)格計(jì)算中的節(jié)點(diǎn)數(shù)量沒有限制。存在三種主要類型的節(jié)點(diǎn)：控制節(jié)點(diǎn)、提供者節(jié)點(diǎn)和用戶節(jié)點(diǎn)。
2. 網(wǎng)格中間件。網(wǎng)格中間件是一種專門的軟件應(yīng)用程序，它將網(wǎng)格操作中的計(jì)算資源與高級(jí)應(yīng)用程序連接起來。例如，它處理用戶對(duì)網(wǎng)格計(jì)算系統(tǒng)的額外處理能力的請(qǐng)求。 它控制用戶對(duì)可用資源的共享，以防止網(wǎng)格計(jì)算機(jī)不堪重負(fù)。網(wǎng)格中間件還提供防止網(wǎng)格計(jì)算中出現(xiàn)資源濫用的安全性。
3. 網(wǎng)格計(jì)算架構(gòu)。網(wǎng)格體系結(jié)構(gòu)表示網(wǎng)格計(jì)算機(jī)的內(nèi)部結(jié)構(gòu)。以下層廣泛存在于網(wǎng)格節(jié)點(diǎn)中：
   • 頂層由高級(jí)應(yīng)用程序組成，例如執(zhí)行預(yù)測建模的應(yīng)用程序。
   • 第二層，也稱為中間件，管理和分配應(yīng)用程序請(qǐng)求的資源。
   • 第三層由可用的計(jì)算機(jī)資源組成，例如 CPU、內(nèi)存和存儲(chǔ)。
   • 底層允許計(jì)算機(jī)連接到網(wǎng)格計(jì)算網(wǎng)絡(luò)。

網(wǎng)格計(jì)算有哪些類型？

• 計(jì)算網(wǎng)絡(luò)。計(jì)算網(wǎng)格由高性能計(jì)算機(jī)組成。它使研究人員可以使用計(jì)算機(jī)的綜合計(jì)算能力。研究人員使用計(jì)算網(wǎng)格計(jì)算來執(zhí)行資源密集型任務(wù)，例如數(shù)學(xué)模擬。
• 拾遺網(wǎng)絡(luò)。雖然與計(jì)算網(wǎng)格類似，但 CPU 拾遺網(wǎng)格包含許多常規(guī)計(jì)算機(jī)。拾遺一詞描述了在常規(guī)計(jì)算機(jī)網(wǎng)絡(luò)中搜索可用計(jì)算資源的過程。當(dāng)其他網(wǎng)絡(luò)用戶訪問計(jì)算機(jī)執(zhí)行與網(wǎng)格無關(guān)的任務(wù)時(shí)，網(wǎng)格軟件會(huì)在這些節(jié)點(diǎn)空閑時(shí)使用它們。拾遺網(wǎng)格也稱為 CPU 拾遺或循環(huán)拾遺。
• 數(shù)據(jù)網(wǎng)絡(luò)。數(shù)據(jù)網(wǎng)格是連接多臺(tái)計(jì)算機(jī)以提供大數(shù)據(jù)存儲(chǔ)容量的網(wǎng)格計(jì)算網(wǎng)絡(luò)。可以像在本地計(jì)算機(jī)上一樣訪問存儲(chǔ)的數(shù)據(jù)，而不必?fù)?dān)心數(shù)據(jù)在網(wǎng)格上的物理位置。

補(bǔ)充5：分布式計(jì)算與網(wǎng)格計(jì)算的比較
分布式計(jì)算用于在任一時(shí)間實(shí)現(xiàn)單一目標(biāo)。相比之下，網(wǎng)格計(jì)算并沒有協(xié)同性，而是在其網(wǎng)絡(luò)上為多個(gè)相關(guān)的子任務(wù)分配資源。一個(gè)網(wǎng)格計(jì)算網(wǎng)絡(luò)可能包含幾個(gè)分布式計(jì)算系統(tǒng)。

6. 集群計(jì)算

集群計(jì)算描述了由同構(gòu)計(jì)算機(jī)組成的網(wǎng)絡(luò)系統(tǒng)。同構(gòu)計(jì)算機(jī)具有相同的硬件和軟件?？梢詫⑺鼈冞B接到高速本地網(wǎng)絡(luò)以創(chuàng)建運(yùn)行類似任務(wù)的計(jì)算機(jī)集群。中央服務(wù)器可以控制和協(xié)調(diào)機(jī)器。

補(bǔ)充6：集群計(jì)算與網(wǎng)格計(jì)算的比較
集群計(jì)算具有穩(wěn)定和特定的硬件、任務(wù)和控制結(jié)構(gòu)，而網(wǎng)格計(jì)算則在資源共享方面具有靈活性。網(wǎng)格網(wǎng)絡(luò)上的計(jì)算機(jī)獨(dú)立工作，沒有義務(wù)共享資源。它們有一個(gè)資源管理器，在運(yùn)行時(shí)共享未使用的資源。

7. 云計(jì)算

云計(jì)算(Cloud Computing)是分布式處理(Distributed Computing)、并行處理(Parallel Computing)和網(wǎng)格計(jì)算(Grid Computing)的發(fā)展，或者說是這些計(jì)算機(jī)科學(xué)概念的商業(yè)實(shí)現(xiàn)。

云計(jì)算的基本原理是，通過使計(jì)算分布在大量的分布式計(jì)算機(jī)上，而非本地計(jì)算機(jī)或遠(yuǎn)程服務(wù)器中，企業(yè)數(shù)據(jù)中心的運(yùn)行將更與互聯(lián)網(wǎng)相似。這使得企業(yè)能夠?qū)①Y源切換到需要的應(yīng)用上，根據(jù)需求訪問計(jì)算機(jī)和存儲(chǔ)系統(tǒng)。

小結(jié)

超算是一種大型高性能計(jì)算系統(tǒng)，高性能計(jì)算是解決大規(guī)模問題的計(jì)算方式，并行計(jì)算和分布式計(jì)算是實(shí)現(xiàn)高性能計(jì)算的兩種方式。文章來源地址http://www.zghlxwxcb.cn/news/detail-740815.html

相關(guān)資料

1. 什么是網(wǎng)格計(jì)算？
2. 分布式計(jì)算、網(wǎng)格計(jì)算和云計(jì)算
3. 《并行與分布式處理》

到了這里，關(guān)于【計(jì)算系統(tǒng)】5分鐘了解超算，高性能計(jì)算，并行計(jì)算，分布式計(jì)算，網(wǎng)格計(jì)算，集群計(jì)算以及云計(jì)算的區(qū)別的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！