1、摘要

????????2023年5月11日，浪潮信息全國巡展廣州站正式啟航。會上，重磅發(fā)布新一代分布式融合存儲AS13000G7，其采用極致融合架構(gòu)設(shè)計理念，實現(xiàn)同一套存儲滿足四種非結(jié)構(gòu)化數(shù)據(jù)的“All In One”高效融合，數(shù)據(jù)存力提升300%，IO性能提升100%；同時，實現(xiàn)四種非結(jié)構(gòu)化協(xié)議無損訪問，實現(xiàn)多元場景的“All In One”，加速釋放數(shù)據(jù)要素的價值。

2、引言

????????智算時代，算力是生產(chǎn)力，數(shù)據(jù)是核心生產(chǎn)要素，也是支撐AI訓(xùn)練和智慧應(yīng)用的基礎(chǔ)。在AIGC、智能駕駛、智能制造、智慧醫(yī)療等萬千智慧應(yīng)用場景中，PB級乃至EB多模態(tài)數(shù)據(jù)是支撐智慧應(yīng)用的關(guān)鍵要素。例如，最近爆火的AI大模型，參數(shù)量呈現(xiàn)多元、海量且快速增長的態(tài)勢。

????????GPT-3語言大模型擁有1750億的參數(shù)量，而到了最近的GPT-4，參數(shù)量已突破萬億規(guī)模，同時數(shù)據(jù)類型變得更加豐富，除了文本外，還需要圖像、音頻、視頻等多樣化數(shù)據(jù)。面對千行百業(yè)的海量多態(tài)的數(shù)據(jù)場景，企業(yè)需要化繁為簡的極致存儲。

????????在自動駕駛、天文觀測、基因測序等場景下,一次數(shù)據(jù)處理過程通常涉及文件、對象、大數(shù)據(jù)多種協(xié)議的數(shù)據(jù)存儲和訪問方式。以天文觀測場景為例，一次完整的天文觀測數(shù)據(jù)處理涉及到數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析和成果保存四個步驟，不同階段使用了不同的訪問協(xié)議。傳統(tǒng)分布式存儲僅支持單一協(xié)議訪問，即客戶需要同時部署多套存儲系統(tǒng)，并且不同協(xié)議處理時，需要進(jìn)行數(shù)據(jù)轉(zhuǎn)換和拷貝，造成存儲空間浪費和存儲成本增加的同時，極大程度降低數(shù)據(jù)的處理效率。

3、架構(gòu)介紹

? ? ? ?新一代分布式融合存儲實現(xiàn)了一套集群系統(tǒng)同時支持文件、對象、大數(shù)據(jù)、視頻四種協(xié)議，實現(xiàn)數(shù)據(jù)融合；同時支持閃存、磁盤、磁帶、光盤四類存儲介質(zhì)，實現(xiàn)管理融合；可以支持基礎(chǔ)設(shè)施云化、結(jié)構(gòu)化、非結(jié)構(gòu)化等全部應(yīng)用場景；支持全生命周期管理，數(shù)據(jù)在熱、溫、冷、冰四級存儲間自由、高效流動，實現(xiàn)“一套存儲架構(gòu)、支持一個數(shù)據(jù)中心”。

4、關(guān)鍵技術(shù)?

????????其一，存儲資源融合互通，數(shù)據(jù)全局共享

???????分布式融合存儲平臺構(gòu)筑了全局統(tǒng)一存儲資源池，數(shù)據(jù)及元數(shù)據(jù)均統(tǒng)一管理，不同協(xié)議(NFS/CIFS/HDFS/S3)共享共用，且創(chuàng)建的文件、數(shù)據(jù)及元數(shù)據(jù)僅保存一份，有效減少數(shù)據(jù)重復(fù)存儲成本。

????????其二，多協(xié)議融合互通，數(shù)據(jù)零拷貝

????????根據(jù)傳統(tǒng)NFS、CIFS、HDFS和S3存儲協(xié)議的特點，分布式融合存儲平臺設(shè)計出統(tǒng)一的存儲架構(gòu)。協(xié)議層無需數(shù)據(jù)轉(zhuǎn)換和拷貝、安裝網(wǎng)關(guān)或插件及在計算側(cè)或應(yīng)用層改造，即可直接原生語義無感接入，大大提升數(shù)據(jù)處理效率。

????????其三，原生語義支持，語義零損失

????????語義損失是導(dǎo)致傳統(tǒng)協(xié)議互通方案無法商用的主要原因。文件、HDFS和對象服務(wù)由于使用場景的差異，每種服務(wù)都有各自獨立的語義，如文件的快照、對象多段上傳及HDFSRanger鑒權(quán)等。傳統(tǒng)協(xié)議互通方案由于存儲架構(gòu)和元數(shù)據(jù)管理不統(tǒng)一，無法實現(xiàn)各協(xié)議完整的語義支持，通常需要上層適配修改，造成語義損失。分布式融合存儲平臺在統(tǒng)一存儲架構(gòu)上實現(xiàn)多協(xié)議的統(tǒng)一元數(shù)據(jù)管理，支持各協(xié)議原生無損語義訪問存儲系統(tǒng)，應(yīng)用無感接入。

????????其四，權(quán)限互通，多協(xié)議權(quán)限聯(lián)動

????????由于文件、對象、HDFS協(xié)議權(quán)限管理方式各不相同，傳統(tǒng)協(xié)議互通方案權(quán)限管理較為混亂，無法做到權(quán)限互通，給用戶訪問帶來極大的不便和困擾。

????????針對Windows用戶、Unix用戶和對象用戶的不同訪問形式及隔離限制，設(shè)計出用戶映射機制，實現(xiàn)不同類型用戶權(quán)限共享，打破不同類型用戶之間互相隔離的壁壘;提煉出統(tǒng)一的權(quán)限管理架構(gòu)，統(tǒng)一管理非結(jié)構(gòu)化數(shù)據(jù)權(quán)限?？梢宰龅揭环輸?shù)據(jù)，一份權(quán)限信息，一種協(xié)議修改權(quán)限，對其它協(xié)議同時生效，真正做到了權(quán)限實時聯(lián)動。

????????其五，冗余保護(hù)，數(shù)據(jù)安全可靠

????????支持更全面的數(shù)據(jù)保護(hù)策略，提供跨節(jié)點、跨機架、不同級別的數(shù)據(jù)冗余保護(hù)，用戶無需擔(dān)心宕機、掉電等意外故障帶來的數(shù)據(jù)丟失風(fēng)險。同時支持?jǐn)?shù)據(jù)副本、糾刪冗余策略，能夠?qū)崿F(xiàn)數(shù)據(jù)及時快速恢復(fù)，提高數(shù)據(jù)可靠性。

????????其六，數(shù)據(jù)分級存儲，降低存儲成本

????????隨著數(shù)據(jù)的爆炸式增長，單一形式的存儲已經(jīng)無法滿足用戶高性能和低成本的需求。AS13000提供靈活的分級策略，將數(shù)據(jù)按照設(shè)定的策略和熱度分別存儲在高性能存儲介質(zhì)和相對低成本的存儲介質(zhì)中，合理利用存儲空間，降低存儲成本，快速響應(yīng)用戶的數(shù)據(jù)存儲需求。

????????最后，特性級互通，高效便捷

????????憑借統(tǒng)一的特性架構(gòu)和操作接口，實現(xiàn)特性級互通，對外提供統(tǒng)一的增值特性服務(wù)，如統(tǒng)一配額、統(tǒng)一QoS、統(tǒng)一分級存儲、統(tǒng)一回收站、統(tǒng)一元數(shù)據(jù)檢索。設(shè)置后，對NFS、CIFS、S3、HDFS等多種協(xié)議即時同步生效。

5、亮點

????????一套存儲架構(gòu) 融合海量多態(tài)數(shù)據(jù)

????????伴隨數(shù)字化轉(zhuǎn)型的深入，海量多態(tài)數(shù)據(jù)應(yīng)用正快速增多，數(shù)據(jù)融合存儲的訴求日益增長,如何以更優(yōu)的成本、更高的效率，讓視頻、圖片等多態(tài)數(shù)據(jù)存得更多、更久、更可靠，是業(yè)界的挑戰(zhàn)。

????????新一代分布式融合存儲，支持四合一架構(gòu)的融合存儲，用戶購買一套存儲享有文件、對象、大數(shù)據(jù)、視頻四種存儲服務(wù)，不同非結(jié)構(gòu)化存儲服務(wù)間可訪問同一份數(shù)據(jù)，融合存儲空間利用效率提升200%，實現(xiàn)用一套存儲架構(gòu)高效支撐一個數(shù)據(jù)中心，滿足性能需求的同時，幫助企業(yè)降低TCO。

????????同時，在海量多模態(tài)場景，浪潮信息打造高密專有產(chǎn)品，采用4U60盤位配置，支持20TB大容量硬盤，單節(jié)點容量超1PB，一臺頂三臺；同時基于32+2大比例糾刪、數(shù)據(jù)縮減技術(shù)，硬盤利用率高達(dá)94%。

????????一套存儲平臺，加速數(shù)據(jù)處理和流動

????????無論是自動駕駛的路線決策，還是電商平臺的精準(zhǔn)營銷，數(shù)字化醫(yī)療線上問診等數(shù)字化智慧應(yīng)用，背后都離不開對海量圖片、文本、視頻等非結(jié)構(gòu)化數(shù)據(jù)的采集、訓(xùn)練、建模分析和決策，2023年實時數(shù)據(jù)已占到全球數(shù)據(jù)圈25%的份額。以高精地圖為例，高精地圖一般通過采集車每天采集、回傳數(shù)據(jù)進(jìn)行分析刷新繪制，每輛車每天采集的數(shù)據(jù)達(dá)數(shù)十TB，實時回傳GPS、軌跡、速度、經(jīng)緯度等多樣化數(shù)據(jù)，每秒處理千萬點位。性能，成為智慧應(yīng)用永無止境的訴求。

????????新一代分布式融合存儲為了提升性能，在一套存儲平臺內(nèi)推動盤控協(xié)同和全鏈路端到端性能優(yōu)化，讓數(shù)據(jù)在熱溫冷冰四級存儲內(nèi)高效互通、流動。AS13000G7搭配第四代英特爾至強CPU、自研PCIe 5.0 NVMe SSD，并通過RDMA協(xié)議、CPU專核專用、數(shù)據(jù)分區(qū)、隨機轉(zhuǎn)順序等技術(shù)的代碼級聯(lián)合調(diào)優(yōu)實現(xiàn)性能的提升，單節(jié)點帶寬超過50GB/s，相當(dāng)于一秒傳輸25部高清電影。相較上一代產(chǎn)品，AS13000G7新品性能至少提升40%。

????????一套存儲平臺 保障數(shù)據(jù)安全可靠

????????新一代分布式融合存儲從部件、器件、整機系統(tǒng)、核心軟件、管理軟件到解決方案，用六重保護(hù)確保服務(wù)永遠(yuǎn)在線、數(shù)據(jù)永不丟失。在器部件層面，嚴(yán)選高可靠性的器件，圍繞可靠性去定制硬盤、SSD等部件。在集群層面，基于全對稱分布式架構(gòu)，最大可擴展至10240節(jié)點，基于大比例彈性EC，最大可同時容忍任意4節(jié)點失效。

????????面向病毒和防勒索軟件的攻擊，推出了端到端的數(shù)據(jù)安全解決方案。首先，可以為用戶提供生產(chǎn)存儲、雙活存儲、異地備份的多重保護(hù)；其次，通過對讀寫行為的分析，預(yù)測勒索行為，即時終止惡意勒索行為并通過高密快照技術(shù)迅速恢復(fù)數(shù)據(jù)；再次，通過引入第三方殺毒軟件，殺滅勒索病毒；最后，通過數(shù)據(jù)防篡改技術(shù)、物理隔離技術(shù)、加密等技術(shù)，讓病毒進(jìn)不來、改不了，數(shù)據(jù)看不到、帶不走，打造數(shù)據(jù)安全的最后一道防線。

參考：

http://www.dostor.com/p/84080.html

https://mp.weixin.qq.com/s/7-xDoN2JiR5HIKXjP5evWA文章來源地址http://www.zghlxwxcb.cn/news/detail-641525.html

到了這里，關(guān)于新一代分布式融合存儲，數(shù)據(jù)場景All In One的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！