CXL是一個開放的行業(yè)標(biāo)準(zhǔn)接口,旨在實現(xiàn)CPU、GPU和其他加速器之間高速、低延遲的內(nèi)存互連,極大地增強了系統(tǒng)的內(nèi)存擴展性和利用率。
在CXL框架下,通過CXL技術(shù),數(shù)據(jù)中心可以將DRAM作為一種可靈活分配和共享的資源,不再局限于單個物理服務(wù)器內(nèi)部,而是可以在機架層面乃至整個數(shù)據(jù)中心范圍內(nèi)實現(xiàn)高效的內(nèi)存池化管理。這意味著機架本身變成了一個高度整合且具備內(nèi)存共享能力的“新服務(wù)器”,打破了傳統(tǒng)服務(wù)器邊界,促進(jìn)了資源的有效利用和成本優(yōu)化。
在CXL技術(shù)支持下,本地存儲系統(tǒng)可以實現(xiàn)更快的速度和更高的存儲密度,這種高性能本地存儲有可能替代傳統(tǒng)的存儲區(qū)域網(wǎng)絡(luò)(Storage Area Network, SAN)。這是因為CXL提供了高速、低延遲的內(nèi)存和I/O設(shè)備互聯(lián),使得本地存儲可以直接提供接近內(nèi)存速度的訪問性能,相比SAN提供的共享存儲解決方案,可以更好地滿足現(xiàn)代數(shù)據(jù)中心對于即時數(shù)據(jù)訪問和實時處理的要求。
在多級CXL交換機拓?fù)浣Y(jié)構(gòu)中,資源的位置關(guān)系被重新組織和優(yōu)化。通過在系統(tǒng)中設(shè)置多個級別的CXL交換機,一些資源能夠以更少的跳數(shù)和更低的延遲與其他組件連接,這些資源在邏輯上被視作“更近”。同時,也意味著其他不在同一層級或未直接連接到最近交換機的資源則在訪問路徑上相對較“遠(yuǎn)”。比如將經(jīng)常需要快速訪問的大容量內(nèi)存模塊放在離處理器更近的層級。
通過CXL技術(shù)縮短了存儲與計算資源的距離,實現(xiàn)了更緊密的耦合,使存儲資源仿佛就在CPU旁邊一樣,幾乎消除了內(nèi)存層級之間的延遲。這一特性為降低固態(tài)硬盤(SSDs)的成本創(chuàng)造了機會,因為在“近內(nèi)存”架構(gòu)下,可以采用成本較低的存儲介質(zhì),同時依然保證較高的性能水平,通過更好的資源搭配和層級設(shè)計,達(dá)到性價比最優(yōu)的存儲解決方案。
在CXL技術(shù)出現(xiàn)之前,一致內(nèi)存(coherent memory)通常是指那些與CPU核心共享一致性的內(nèi)存,它們在系統(tǒng)架構(gòu)中是通過RC(root complex)與CPU以及其他組件(如GPU或加速器)相連接的。在這種情況下,一致內(nèi)存存在于RC另一側(cè),這意味著任何想要訪問一致內(nèi)存的設(shè)備都需要通過RC才能實現(xiàn),這增加了數(shù)據(jù)傳輸?shù)穆窂介L度和由此產(chǎn)生的延遲。
然而,隨著CXL(Compute Express Link)技術(shù)的引入,情況發(fā)生了改變。PCIe設(shè)備現(xiàn)在僅需通過Switch能訪問到設(shè)備內(nèi)存,大大縮短了物理距離和邏輯上的訪問層次。
在計算機系統(tǒng)架構(gòu)中,Home Agent通常指的是負(fù)責(zé)管理和維護(hù)內(nèi)存一致性的一個關(guān)鍵組件,尤其是在包含多個處理器核心或設(shè)備共享統(tǒng)一內(nèi)存空間的多核系統(tǒng)或多處理器系統(tǒng)中。Home Agent的作用主要是跟蹤和協(xié)調(diào)各個處理器對共享內(nèi)存的訪問,確保數(shù)據(jù)的一致性,防止因并發(fā)讀寫導(dǎo)致的數(shù)據(jù)不一致現(xiàn)象。
在CXL環(huán)境中,Home Agent扮演類似的角色,負(fù)責(zé)追蹤同級CXL內(nèi)存設(shè)備的一致性狀態(tài)。Root Complex(RC)是CPU與外部I/O設(shè)備(如PCIe設(shè)備、CXL設(shè)備)之間通訊的核心橋梁,它是系統(tǒng)中所有PCIe總線及其他兼容總線的起點和終點。
在涉及到CXL內(nèi)存的情況下,Home Agent與Root Complex的關(guān)系表現(xiàn)為Home Agent是通過Root Complex連接到CXL內(nèi)存子系統(tǒng)的。當(dāng)CXL設(shè)備如加速器或存儲設(shè)備試圖訪問CXL內(nèi)存時,由于需要保持內(nèi)存一致性,DMA(Direct Memory Access)事務(wù)必須通過Root Complex中的Home Agent來進(jìn)行狀態(tài)解析和更新。這意味著Home Agent在處理一致性問題時起到了關(guān)鍵的中介作用,確保了即使CXL內(nèi)存已經(jīng)通過交換機進(jìn)行了拓?fù)渖系膬?yōu)化,訪問時仍能保持?jǐn)?shù)據(jù)的一致性。
但是,這個過程中存在以下問題:
-
上游CXL通道擁堵:由于所有的CXL內(nèi)存訪問都要通過Home Agent,這就可能導(dǎo)致連接到RC上游的CXL通道變得擁堵,影響總體帶寬和性能表現(xiàn)。
-
遍歷延遲:每次訪問CXL內(nèi)存時,都需要經(jīng)過至少一次Switch和Home Agent的狀態(tài)處理過程,這無疑增加了訪存操作的遍歷延遲,對系統(tǒng)的響應(yīng)時間和整體性能有所拖累。文章來源:http://www.zghlxwxcb.cn/news/detail-804927.html
文章來源地址http://www.zghlxwxcb.cn/news/detail-804927.html
到了這里,關(guān)于淺析CXL P2P DMA加速數(shù)據(jù)傳輸?shù)膿矶聠栴}的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!