接上文：CXL P2P DMA加速數(shù)據(jù)傳輸?shù)膿矶聠栴}
為了改善這個問題，CXL 3.0引入了Unordered-IO和Back Invalidate Snoop新機(jī)制，允許更直接和高效點(diǎn)對點(diǎn)數(shù)據(jù)傳輸，以減輕上游CXL通道的壓力并減少延遲。
(1)Unordered-IO (UIO)
在傳統(tǒng)PCIe體系中，DMA傳輸通常是有序的，要求嚴(yán)格按照順序完成，否則可能導(dǎo)致數(shù)據(jù)依賴性錯誤。而Unordered-IO允許通過CXL Switch進(jìn)行非順序化的DMA傳輸，允許數(shù)據(jù)包在網(wǎng)絡(luò)中以最有效的方式流動，無需嚴(yán)格遵循發(fā)送順序。
Unordered-IO 是一種PCIe 6.0引入的新型的?TLP格式，主要用于點(diǎn)對點(diǎn)（Peer-to-Peer, P2P）DMA傳輸。從PCI-SIG官網(wǎng)消息來看，2023年4月10日對外正式發(fā)布。
這種特性使得CXL設(shè)備可以繞過傳統(tǒng)瓶頸，直接通過Switch進(jìn)行高效的數(shù)據(jù)交換，降低了延遲，提升了帶寬利用率，特別適用于不需要順序保證的場景。
(2)Back Invalidate Snoop
在CXL架構(gòu)下，為了保持內(nèi)存一致性，特別是對于共享CXL內(nèi)存資源的情況，Back Invalidate Snoop 是一種CXL 3.0新引入的請求類型。
當(dāng)從屬的CXL內(nèi)存設(shè)備（如SSD或其他帶有CXL.mem接口的存儲設(shè)備）需要更新自身的內(nèi)存緩存副本時，它可以發(fā)起B(yǎng)ack Invalidate Snoop 請求，直接向Home Agent或者其他持有最新數(shù)據(jù)的設(shè)備請求更新一致性狀態(tài)。
通過這種方式，CXL設(shè)備能夠在不經(jīng)過Root Complex的情況下自行發(fā)起并完成一致性狀態(tài)的更新，有效地解除了對上游CXL通道的擁堵，同時降低了遍歷延遲。
這兩個特性結(jié)合使用，不僅可以實(shí)現(xiàn)CXL設(shè)備間高效、低延遲的P2P通信，還能夠確保在整個系統(tǒng)中保持內(nèi)存數(shù)據(jù)的一致性，這對于構(gòu)建大規(guī)模、分布式、高性能計算環(huán)境至關(guān)重要。
不過需要注意，在PCIe 6.0協(xié)議中，UIO writes是non-posted TLP，這意味著與posted write相反，UIO寫操作不會立即返回確認(rèn)給發(fā)起方，而是等待實(shí)際寫操作完成后才發(fā)出完成信號。由于這種異步性質(zhì)增加了等待時間，UIO寫操作可能會帶來一定的性能損耗
在判斷NVMe設(shè)備是否可以發(fā)起UIO DMA時，有三個關(guān)鍵條件必須滿足：
-
DMA操作目標(biāo)地址限定：DMA操作必須明確指向位于同一個CXL switch peer上的地址。也就是說，數(shù)據(jù)傳輸?shù)哪繕?biāo)必須是直接相連并通過CXL Switch可達(dá)的設(shè)備。
-
CXL Switch支持UIO P2P：所使用的CXL Switch底層結(jié)構(gòu)必須支持UIO P2P路由功能。這意味著Switch能夠識別和處理UIO格式的TLP，并允許其直接在不同設(shè)備間傳遞，而不必經(jīng)過額外的中間跳轉(zhuǎn)或繞行。
-
目標(biāo)CXL.mem設(shè)備支持Back Invalidate：目標(biāo)CXL內(nèi)存設(shè)備（CXL.mem）必須具備Back Invalidate功能的支持。這是為了確保在進(jìn)行U-IO DMA操作時，能夠正確地同步內(nèi)存一致性狀態(tài)，即當(dāng)數(shù)據(jù)發(fā)生更改時，相關(guān)的緩存條目可以在整個系統(tǒng)中得到及時無效化（invalidate），從而維護(hù)全局內(nèi)存一致性。?
PCIe/CXL擴(kuò)展閱讀：
-
NVMe over CXL技術(shù)如何加速Host與SSD數(shù)據(jù)傳輸？
-
CXL崛起：2024啟航，2025年開啟新時代
-
淺析PCIe 6.0功能更新與實(shí)現(xiàn)的挑戰(zhàn)
-
PCIe 6.0生態(tài)業(yè)內(nèi)進(jìn)展分析總結(jié)
小編每日撰文不易，如果您看完有所受益，歡迎點(diǎn)擊文章底部左下角“關(guān)注”并點(diǎn)擊“分享”、“在看”，非常感謝！
精彩推薦:
-
HDD回暖于2024，與SSD決戰(zhàn)于2028
-
如何解決NAND系統(tǒng)性能問題？
-
淺析NVMe key per IO加密技術(shù)
-
詳細(xì)解讀QLC SSD無效編程問題
-
NVMe SSD IO壓力導(dǎo)致宕機(jī)案例解讀
-
年度總結(jié)｜存儲隨筆2023年度最受歡迎文章榜單TOP15
-
PCIe surprise down異常與DPC功能分析
-
過度加大SSD內(nèi)部并發(fā)何嘗不是一種傷害
-
NVMe over CXL技術(shù)如何加速Host與SSD數(shù)據(jù)傳輸？
-
為什么QLC NAND才是ZNS SSD最大的贏家？
-
SSD在AI發(fā)展中的關(guān)鍵作用：從高速緩存到數(shù)據(jù)湖
-
淺析不同NAND架構(gòu)的差異與影響
-
SSD基礎(chǔ)架構(gòu)與NAND IO并發(fā)問題探討
-
字節(jié)跳動ZNS SSD應(yīng)用案例解析
-
SSD數(shù)據(jù)在寫入NAND之前為何要隨機(jī)化？
-
深度剖析：DMA對PCIe數(shù)據(jù)傳輸性能的影響
-
NAND Vpass對讀干擾和IO性能有什么影響？
-
HDD與QLC SSD深度對比：功耗與存儲密度的終極較量
-
NVMe SSD：ZNS與FDP對決，你選誰？
-
淺析PCIe鏈路LTSSM狀態(tài)機(jī)
-
淺析Relaxed Ordering對PCIe系統(tǒng)穩(wěn)定性的影響
-
實(shí)戰(zhàn)篇｜淺析MPS對PCIe系統(tǒng)穩(wěn)定性的影響
-
淺析PCI配置空間
-
淺析PCIe系統(tǒng)性能文章來源：http://www.zghlxwxcb.cn/news/detail-802763.html
-
存儲隨筆《NVMe專題》大合集及PDF版正式發(fā)布！文章來源地址http://www.zghlxwxcb.cn/news/detail-802763.html
到了這里，關(guān)于淺析CXL P2P DMA加速數(shù)據(jù)傳輸擁堵問題的解決方案的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
