?

焱融科技案例

本項(xiàng)目案例由焱融科技投遞并參與“數(shù)據(jù)猿年度金猿策劃活動(dòng)——2023大數(shù)據(jù)產(chǎn)業(yè)年度創(chuàng)新服務(wù)企業(yè)榜單/獎(jiǎng)項(xiàng)”評(píng)選。

大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新服務(wù)媒體

——聚焦數(shù)據(jù)?· 改變商業(yè)

---

自 ChatGPT 爆火以來，中國(guó)的 AI 產(chǎn)業(yè)已經(jīng)進(jìn)入名副其實(shí)的“百模大戰(zhàn)”?！吨袊?guó)人工智能大模型地圖研究報(bào)告》顯示，截至 2023 年 5 月底，國(guó)內(nèi) 10 億級(jí)參數(shù)規(guī)模以上基礎(chǔ)大模型至少已經(jīng)發(fā)布 79 個(gè)，大模型所需數(shù)據(jù)豐富，而海量數(shù)據(jù)需要強(qiáng)悍的儲(chǔ)存性能。

目前焱融科技全閃分布式文件存儲(chǔ)一體機(jī)已經(jīng)與多家大模型廠商達(dá)成合作，其中，與北京智譜華章科技有限公司（簡(jiǎn)稱“智譜AI”）的合作極具代表性。智譜AI成立于2019年，于2022年推出千億參數(shù)大模型，并在2023年累計(jì)完成25億融資，是國(guó)內(nèi)大模型市場(chǎng)的第一梯隊(duì)廠商。

大模型計(jì)算量龐大，計(jì)算復(fù)雜度高，參與計(jì)算的數(shù)據(jù)規(guī)模巨大，大模型越成熟所需數(shù)據(jù)越豐富，而海量數(shù)據(jù)需要更強(qiáng)悍的存儲(chǔ)性能。因此在大模型的推動(dòng)下，數(shù)據(jù)存儲(chǔ)已成為AI大模型的關(guān)鍵基礎(chǔ)設(shè)施，貫穿大模型全流程。焱融高性能分布式文件存儲(chǔ)構(gòu)建智譜數(shù)據(jù)底座，與 NVIDIA 一起組成大模型算力存儲(chǔ)方案，提升智譜業(yè)務(wù)迭代速度和模型精度。

YRCloudFile 在大模型應(yīng)用場(chǎng)景具有獨(dú)到的產(chǎn)品能力，焱融的數(shù)據(jù)全生命周期管理理念將更加有助于海量規(guī)模化的大模型應(yīng)用。雙方此次合作在 AI 大模型數(shù)據(jù)全生命周期管理等技術(shù)方向上聯(lián)合創(chuàng)新，焱融全閃存儲(chǔ)方案具備海量數(shù)據(jù)支持、超高性能及可靠性等特性，滿足智譜 AI 的業(yè)務(wù)性能需求，助推模型精度提升，為 AIGC 產(chǎn)業(yè)提供了可借鑒的成功經(jīng)驗(yàn)。

實(shí)施時(shí)間：

項(xiàng)目開始時(shí)間：2023年11月29日

中間重要時(shí)間節(jié)點(diǎn)：2023年11月30日

項(xiàng)目完結(jié)時(shí)間：2023年12月21日

應(yīng)用場(chǎng)景

此次構(gòu)建高速大模型訓(xùn)練平臺(tái)，采用了焱融全閃一體機(jī)F8000X搭建的分布式并行文件存儲(chǔ)集群，滿足千億參數(shù)模型訓(xùn)練推理中高并發(fā)、高性能和低延時(shí)性能需求，結(jié)合NVIDIA計(jì)算和Infiniband網(wǎng)絡(luò)，共同構(gòu)建智譜AI高性能算力基礎(chǔ)平臺(tái)，幫助算法邏輯快速迭代，形成競(jìng)爭(zhēng)優(yōu)勢(shì)。

焱融全閃一體機(jī)F8000X采用全NVMe SSD硬件架構(gòu)，通過YRCloudFile軟件系統(tǒng)將硬件性能極致發(fā)揮，并結(jié)合Infiniband 200Gb網(wǎng)絡(luò)，將存儲(chǔ)能力提供給NVIDIA GPU集群，形成存儲(chǔ)、網(wǎng)絡(luò)、計(jì)算的全鏈路高性能配比。與傳統(tǒng)數(shù)據(jù)核心建設(shè)不同，該方案在硬件選型和軟件系統(tǒng)選型上均采用了高性能架構(gòu)，客戶可以獲得存儲(chǔ)、網(wǎng)絡(luò)和計(jì)算三種核心資源的最佳配置，消除了IT基礎(chǔ)資源的限制，確保資源投資得到最大的回報(bào)，避免了浪費(fèi)，可作為智算中心建設(shè)成功樣板。

在 AI 全業(yè)務(wù)流程內(nèi)，數(shù)據(jù)需要經(jīng)歷預(yù)處理、訓(xùn)練、推理等過程，焱融全閃一體機(jī)F8000X根據(jù)智譜AI大模型訓(xùn)練的不同業(yè)務(wù)階段特點(diǎn)，調(diào)用不同的存儲(chǔ)服務(wù)能力，滿足各個(gè)階段業(yè)務(wù)對(duì)數(shù)據(jù)服務(wù)能力的要求，摒棄了傳統(tǒng)分立建設(shè)，避免數(shù)據(jù)孤島問題。

在業(yè)務(wù)全過程中，數(shù)據(jù)始終處于 YRCloudFile 全生命周期管理中，相比傳統(tǒng)存儲(chǔ)的豎井架構(gòu)，數(shù)據(jù)流轉(zhuǎn)成本大大降低，同步提升了計(jì)算GPU 的利用率，將業(yè)務(wù)等待時(shí)間剔除，提升效率，業(yè)務(wù)連續(xù)性也得到保障。

多模態(tài) AI 數(shù)據(jù)來源維度眾多，YRCloudFile 采用分布式并行架構(gòu)及元數(shù)據(jù)路徑分離技術(shù)，讓百億級(jí)混合文件（大文件和小文件并存場(chǎng)景）數(shù)據(jù)讀寫和元數(shù)據(jù)查詢性能穩(wěn)定，并且可線性擴(kuò)展，滿足智譜AI 業(yè)務(wù)性能需求，快速提升迭代能力。

YRCloudFile具備強(qiáng)大升級(jí)能力，當(dāng)前配置可隨業(yè)務(wù)在線快速升級(jí)，無論IO能力或是網(wǎng)絡(luò)適配能力，在客戶數(shù)據(jù)規(guī)模持續(xù)增長(zhǎng)的過程中可靈活調(diào)整性能配置，將建設(shè)成本優(yōu)化，降低TCO。

面臨挑戰(zhàn)

在智譜AI 業(yè)務(wù)發(fā)展的需求中，當(dāng)構(gòu)建百億級(jí)別的模型時(shí)，算力、網(wǎng)絡(luò)、存儲(chǔ)這三要素共同決定了模型最終的成熟度和產(chǎn)品先進(jìn)性?，F(xiàn)階段，算力的發(fā)展已經(jīng)從單純依靠GPU數(shù)量的堆積轉(zhuǎn)向了全面提升存儲(chǔ)和網(wǎng)絡(luò)性能，以滿足不斷增長(zhǎng)的計(jì)算需求和人工智能等先進(jìn)應(yīng)用的需求。

存儲(chǔ)的選擇需要貼合業(yè)務(wù)要求，此次存儲(chǔ)建設(shè)目標(biāo)不但需要滿足業(yè)務(wù)層百億文件存儲(chǔ)，還需要滿足模型全流程生產(chǎn)要求。即從數(shù)據(jù)分類、模型訓(xùn)練、仿真等環(huán)節(jié)考慮，存儲(chǔ)必須滿足不同類別文件的高性能響應(yīng)。智譜AI 在選型存儲(chǔ)時(shí)最為關(guān)注以下幾點(diǎn)：

需求一：百億級(jí)別數(shù)據(jù)讀寫性能與元數(shù)據(jù)操作性能，在業(yè)務(wù)中，頻繁操作數(shù)據(jù)，形成規(guī)模效應(yīng)，存儲(chǔ)性能需要保證穩(wěn)定性；

需求二：業(yè)務(wù)數(shù)據(jù)包含大量的文本文件、視頻文件、音頻文件等多維度數(shù)據(jù)，存儲(chǔ)作為數(shù)據(jù)的載體需要非常高的 IOPS 能力，例如，普通機(jī)械硬盤性能不超過 200 IOPS，如果要支持百億級(jí)數(shù)據(jù)業(yè)務(wù)模型，那么需要大量的磁盤用于存儲(chǔ)，容量和性能不匹配，顯然這樣的硬件選型是不合理的。目前業(yè)界主流高性能硬件已經(jīng)普及全閃的 NVMe SSD，單盤 IOPS 即可達(dá)到數(shù)萬。

需求三：在模型運(yùn)算中，不僅僅存儲(chǔ)需要高 IOPS，還要同時(shí)兼容高性能網(wǎng)絡(luò)，將存儲(chǔ)能力通過網(wǎng)絡(luò)供給到計(jì)算層，完成數(shù)據(jù)的高速流轉(zhuǎn)。

基于以上三點(diǎn)業(yè)務(wù)需求分析，智譜AI選擇了全閃存儲(chǔ)架構(gòu)。

數(shù)據(jù)支持

在 AI 全業(yè)務(wù)流程內(nèi)，數(shù)據(jù)需要經(jīng)歷的預(yù)處理、訓(xùn)練、仿真等過，焱融科技全閃文件存儲(chǔ) F8000X 根據(jù)不同業(yè)務(wù)階段的特點(diǎn)，調(diào)用不同的存儲(chǔ)服務(wù)能力，滿足各個(gè)階段業(yè)務(wù)對(duì)數(shù)據(jù)服務(wù)能力的要求。且業(yè)務(wù)全過程中，數(shù)據(jù)始終處于 YRCloudFile 的全生命周期管理中，相比傳統(tǒng)存儲(chǔ)的分離架構(gòu)，數(shù)據(jù)流轉(zhuǎn)成本大大降低，業(yè)務(wù)連續(xù)性得到保障。

在服務(wù)泛AI客戶過程中，對(duì)大多數(shù)進(jìn)行AI模型訓(xùn)練的客戶而言，數(shù)據(jù)具有階段性熱點(diǎn)訪問的特點(diǎn)，超過一定時(shí)間后，80% 以上的數(shù)據(jù)逐步趨冷。因此，如何實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)管理，根據(jù)數(shù)據(jù)訪問熱度，對(duì)冷、熱數(shù)據(jù)進(jìn)行全局調(diào)度，達(dá)到數(shù)據(jù)存儲(chǔ)和管理的最佳效率 ，是降低數(shù)據(jù)存儲(chǔ)成本的關(guān)鍵。焱融科技存儲(chǔ)系統(tǒng)提供智能分層功能，客戶可根據(jù)策略定義冷熱數(shù)據(jù)層，冷數(shù)據(jù)自動(dòng)流動(dòng)至本地或公有云對(duì)象存儲(chǔ)中，向上仍然為業(yè)務(wù)提供標(biāo)準(zhǔn)的文件訪問接口，數(shù)據(jù)在冷熱數(shù)據(jù)層之間流動(dòng)對(duì)業(yè)務(wù)完全透明。在保證熱層數(shù)據(jù)高性能的同時(shí)，降低了數(shù)據(jù)存儲(chǔ)成本，提升了數(shù)據(jù)可靠性。

應(yīng)用技術(shù)與實(shí)施過程

本次項(xiàng)目建設(shè)采用了焱融全閃一體機(jī)F8000X搭建的分布式并行文件存儲(chǔ)集群，滿足千億參數(shù)模型訓(xùn)練推理中高并發(fā)、高性能和低延時(shí)性能需求，結(jié)合NVIDIA計(jì)算和Infiniband網(wǎng)絡(luò)，共同構(gòu)建智譜AI高性能算力基礎(chǔ)平臺(tái)，幫助算法邏輯快速迭代，形成競(jìng)爭(zhēng)優(yōu)勢(shì)。焱融科技憑借豐富的產(chǎn)品實(shí)施經(jīng)驗(yàn)及極簡(jiǎn)化的安裝部署過程，使得項(xiàng)目在入場(chǎng)第二天即可完成部署實(shí)施工作。下面將詳細(xì)描述本次項(xiàng)目實(shí)施過程中的關(guān)鍵步驟和特點(diǎn)。

1、項(xiàng)目準(zhǔn)備階段：

在項(xiàng)目啟動(dòng)前，首先進(jìn)行了詳細(xì)的項(xiàng)目準(zhǔn)備工作。這包括對(duì)硬件設(shè)備、網(wǎng)絡(luò)環(huán)境、NVIDIA GPU集群等進(jìn)行全面的評(píng)估和規(guī)劃。確保硬件和軟件的兼容性，以及項(xiàng)目所需的資源得到充分準(zhǔn)備。

2、硬件設(shè)備選型：

焱融全閃一體機(jī)F8000X采用全NVMe SSD硬件架構(gòu)，通過YRCloudFile軟件系統(tǒng)將硬件性能極致發(fā)揮，并結(jié)合Infiniband 200Gb網(wǎng)絡(luò)，將存儲(chǔ)能力提供給NVIDIA GPU集群，形成存儲(chǔ)、網(wǎng)絡(luò)、計(jì)算的全鏈路高性能配比。與傳統(tǒng)數(shù)據(jù)核心建設(shè)不同，該方案在硬件選型和軟件系統(tǒng)選型上均采用了高性能架構(gòu)，因此得到了客戶的高度認(rèn)可，可作為智算中心建設(shè)成功樣板。

YRCloudFile采用scale-out架構(gòu)，所有存儲(chǔ)節(jié)點(diǎn)同步提供存儲(chǔ)服務(wù)，具備先天性能優(yōu)勢(shì)。通過數(shù)據(jù)切片形式存儲(chǔ)數(shù)據(jù)，解決了IO高并發(fā)需求；結(jié)合副本和EC算法，解決了數(shù)據(jù)可靠性問題；在強(qiáng)一致算法的支持下，數(shù)據(jù)完整性得到了充分保障?；跇I(yè)務(wù)多種階段和狀態(tài)的要求，YRCloudFile通過配額功能以及目錄級(jí)QoS功能，將存儲(chǔ)資源按需分配到不同業(yè)務(wù)區(qū)間，有效保障了各項(xiàng)業(yè)務(wù)的順利開展。

在存儲(chǔ)原子能力方面，YRCloudFile在數(shù)據(jù)IO操作上提供多種詳細(xì)策略的支持：數(shù)據(jù)的增、刪、改、查及元數(shù)據(jù)的增刪改查；針對(duì)IOPS和帶寬的控制能力；基于元數(shù)據(jù)操作的IOPS的管理能力。支持多種模式設(shè)定，充分滿足當(dāng)前業(yè)務(wù)及后續(xù)業(yè)務(wù)發(fā)展需要。

YRCloudFile存儲(chǔ)小文件和大文件混合的能力強(qiáng)，結(jié)合智譜AI大模型業(yè)務(wù)：在小文件訓(xùn)練場(chǎng)景下，提供千萬級(jí)IOPS存儲(chǔ)能力；在大文件帶寬性能要求高的場(chǎng)景下，可以充分利用200Gb Infiniband網(wǎng)絡(luò)的能力，實(shí)現(xiàn)高效的數(shù)據(jù)傳輸。這些關(guān)鍵能力主要?dú)w功于YRCloudFile系統(tǒng)在內(nèi)部進(jìn)行了小文件和大文件的邏輯優(yōu)化，使得YRCloudFile能夠適應(yīng)兩種極端場(chǎng)景的性能需求。這也是本方案選擇采用YRCloudFile的核心因素。

YRCloudFile提供基于CSI的容器持久化存儲(chǔ)能力、NFS/SMB及大數(shù)據(jù)訪問能力，滿足智譜AI訓(xùn)練/推理外的業(yè)務(wù)存儲(chǔ)需要，存儲(chǔ)作為AI大模型的數(shù)據(jù)基石，承擔(dān)起了AI生命“起源”的角色。

大模型場(chǎng)景下全閃存儲(chǔ)F8000X解決方案

綜上所述，本方案焱融全閃一體機(jī)F8000X具備如下特點(diǎn)如下：

● 基于scale-out架構(gòu)的全閃并行分布式文件存儲(chǔ)，具備橫向擴(kuò)展能力，自動(dòng)負(fù)載均衡，滿足日漸增長(zhǎng)的容量及性能需求；

● 提供POSIX私有協(xié)議、CSI、大數(shù)據(jù)、NFS/SMB多種訪問接口，滿足多種業(yè)務(wù)存儲(chǔ)需要；

● 與Infiniband網(wǎng)絡(luò)協(xié)議充分適配，徹底解決傳統(tǒng)網(wǎng)絡(luò)“卡脖子”問題；

●?小文件和大文件混合的能力強(qiáng)，滿足智譜AI的核心業(yè)務(wù)場(chǎng)景需求；

● 能夠在單業(yè)務(wù)存儲(chǔ)數(shù)據(jù)量超百億規(guī)模場(chǎng)景下，平穩(wěn)運(yùn)行，性能不衰減；

● 適配NVIDIA GPUDirect Storage（GDS）技術(shù)，具備對(duì)NVIDIA GPU集群對(duì)接的技術(shù)優(yōu)勢(shì)。

YRCloudFile作為全閃分布式并行文件系統(tǒng)，在適配Infiniband高速網(wǎng)絡(luò)協(xié)議方面具有業(yè)界領(lǐng)先的技術(shù)實(shí)力。本方案中，適配200Gb Infiniband作為當(dāng)時(shí)最先進(jìn)的業(yè)務(wù)實(shí)踐，已成為了業(yè)界的榜樣。并且，YRCloudFile具備聚合Infiniband多通道的能力，能夠響應(yīng)更大的存儲(chǔ)網(wǎng)絡(luò)需求。

YRCloudFile能夠?qū)⒂布覰VMe SSD能力充分發(fā)揮，滿足當(dāng)前AI大模型業(yè)務(wù)發(fā)展種對(duì)數(shù)據(jù)IO的性能和原子操作能力要求，在多模態(tài)和大模型類型的業(yè)務(wù)中，推動(dòng)核心算法加速迭代，助力智譜AI客戶業(yè)務(wù)快速發(fā)展。YRCloudFile是國(guó)內(nèi)首個(gè)支持NVIDIA GPUDirect Storage（GDS）技術(shù)的存儲(chǔ)軟件，具備與NVIDIA GPU集群對(duì)接的技術(shù)優(yōu)勢(shì)，這一特點(diǎn)使其在智算中心建設(shè)中展現(xiàn)出領(lǐng)先地位。

YRCloudFile支持千億級(jí)模型的訓(xùn)練推理，同時(shí)向模型訓(xùn)練其他階段數(shù)據(jù)提供可靠、穩(wěn)定的數(shù)據(jù)存儲(chǔ)服務(wù)，保障業(yè)務(wù)數(shù)據(jù)全生命周期管理與服務(wù)。結(jié)合其自身具備的數(shù)據(jù)加載和智能分層功能，可輕松實(shí)現(xiàn)異構(gòu)云數(shù)據(jù)架構(gòu)，無需借助其他技術(shù)或設(shè)備，將數(shù)據(jù)管理從平面轉(zhuǎn)向立體式多維度的管理模式，提升整體業(yè)務(wù)效率。

結(jié)合項(xiàng)目經(jīng)驗(yàn)，焱融科技在海量數(shù)據(jù)管理能力上具備成熟項(xiàng)目經(jīng)驗(yàn)，產(chǎn)品適配能力。

3、網(wǎng)絡(luò)規(guī)劃：

YRCloudFile采用高并發(fā)的POSIX私有協(xié)議作為主體服務(wù)，相較于傳統(tǒng)的NFS/SMB網(wǎng)關(guān)架構(gòu)，其計(jì)算并發(fā)訪問存儲(chǔ)規(guī)模提高了數(shù)十倍，能夠支持前端數(shù)百臺(tái)GPU計(jì)算服務(wù)器并發(fā)訪問。并且，由于POSIX私有客戶端任具備預(yù)讀和邏輯簡(jiǎn)單的特點(diǎn)，結(jié)合YRCloudFile與Infiniband協(xié)議充分的技術(shù)對(duì)接，能夠有效滿足大模型訓(xùn)練中對(duì)高IOPS和低延時(shí)的需求。在這一步驟中，進(jìn)行了網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)，確保Infiniband 200Gb網(wǎng)絡(luò)能夠提供足夠的帶寬和低延時(shí)，充分滿足NVIDIA GPU集群與存儲(chǔ)之間的高效數(shù)據(jù)傳輸需求。

4、YRCloudFile軟件安裝與配置：

YRCloudFile的安裝過程被設(shè)計(jì)得相當(dāng)簡(jiǎn)單，憑借其極簡(jiǎn)化的部署流程，實(shí)現(xiàn)了項(xiàng)目入場(chǎng)第二條即可完成部署。具體步驟如下：

● 安裝操作系統(tǒng)：?在每個(gè)存儲(chǔ)節(jié)點(diǎn)上安裝操作系統(tǒng)，確保系統(tǒng)與YRCloudFile的兼容性。

●安裝YRCloudFile軟件：?通過提供的安裝包，輕松部署YRCloudFile軟件。安裝過程中，用戶只需按照提示進(jìn)行簡(jiǎn)單的配置，包括節(jié)點(diǎn)角色、存儲(chǔ)路徑等。

●?網(wǎng)絡(luò)配置：?進(jìn)行Infiniband網(wǎng)絡(luò)的配置，確保存儲(chǔ)節(jié)點(diǎn)之間的高速通信。

● 集群配置：?將各個(gè)存儲(chǔ)節(jié)點(diǎn)加入集群，形成一個(gè)分布式的文件存儲(chǔ)集群。

● 高級(jí)配置和優(yōu)化：

YRCloudFile提供了一系列高級(jí)配置選項(xiàng)，以滿足不同業(yè)務(wù)需求。在這一步驟中，根據(jù)實(shí)際情況進(jìn)行配置優(yōu)化，包括配額管理、QoS功能的設(shè)置，以及數(shù)據(jù)加載和智能分層功能的調(diào)整，以確保存儲(chǔ)資源按需分配，滿足各項(xiàng)業(yè)務(wù)的性能和容量需求。

●?集成NVIDIA GPUDirect Storage技術(shù)：

YRCloudFile作為國(guó)內(nèi)首個(gè)支持NVIDIA GPUDirect Storage（GDS）技術(shù)的存儲(chǔ)軟件，集成過程相對(duì)簡(jiǎn)單。通過與NVIDIA GPU集群的對(duì)接，充分發(fā)揮GPU與存儲(chǔ)之間的直接數(shù)據(jù)傳輸技術(shù)優(yōu)勢(shì)，提高數(shù)據(jù)傳輸效率。

● 測(cè)試與驗(yàn)證：

在完成安裝和配置后，進(jìn)行系統(tǒng)的測(cè)試與驗(yàn)證是至關(guān)重要的一步。通過模擬高并發(fā)、大規(guī)模模型訓(xùn)練推理等場(chǎng)景，確保整個(gè)系統(tǒng)在生產(chǎn)環(huán)境中能夠穩(wěn)定運(yùn)行。包括性能測(cè)試、容錯(cuò)測(cè)試、數(shù)據(jù)一致性測(cè)試等多個(gè)方面的驗(yàn)證。

● 培訓(xùn)與文檔：

為了確保項(xiàng)目的可維護(hù)性和持續(xù)運(yùn)營(yíng)，進(jìn)行相關(guān)團(tuán)隊(duì)的培訓(xùn)是不可或缺的。此外，提供詳細(xì)的文檔，包括安裝手冊(cè)、配置指南、故障排除等，以供用戶在日常維護(hù)和操作中參考。

● 上線與運(yùn)維：

完成測(cè)試驗(yàn)證后，項(xiàng)目正式上線。在正式上線后，建立定期的運(yùn)維流程，監(jiān)控系統(tǒng)的性能、容量，進(jìn)行必要的維護(hù)和優(yōu)化，確保系統(tǒng)在長(zhǎng)時(shí)間內(nèi)穩(wěn)定運(yùn)行。

● 項(xiàng)目總結(jié)與優(yōu)化：

在項(xiàng)目實(shí)施完畢后，進(jìn)行全面的總結(jié)和優(yōu)化。收集用戶反饋，識(shí)別可能的改進(jìn)點(diǎn)，不斷優(yōu)化系統(tǒng)性能和穩(wěn)定性，保證系統(tǒng)能夠持續(xù)適應(yīng)業(yè)務(wù)的發(fā)展。

通過上述步驟，YRCloudFile在項(xiàng)目實(shí)施中展現(xiàn)了其豐富的產(chǎn)品實(shí)施經(jīng)驗(yàn)和高效的部署流程。簡(jiǎn)化的安裝過程、高度集成的硬件和軟件配置，使得項(xiàng)目能夠在較短時(shí)間內(nèi)完成部署，為智譜AI高性能算力基礎(chǔ)平臺(tái)的搭建提供了堅(jiān)實(shí)的基礎(chǔ)。

商業(yè)變化

在實(shí)施整體解決方案后，客戶可以獲得存儲(chǔ)、網(wǎng)絡(luò)和計(jì)算三種核心資源的最佳配置，消除了IT基礎(chǔ)資源的限制，確保資源投資得到最大的回報(bào)，避免了浪費(fèi)。焱融全閃一體機(jī)F8000X根據(jù)智譜AI大模型訓(xùn)練的不同業(yè)務(wù)階段特點(diǎn)，調(diào)用不同的存儲(chǔ)服務(wù)能力，滿足各個(gè)階段業(yè)務(wù)對(duì)數(shù)據(jù)服務(wù)能力的要求，摒棄了傳統(tǒng)分立建設(shè)，避免數(shù)據(jù)孤島問題。

在業(yè)務(wù)全過程中，數(shù)據(jù)始終處于 YRCloudFile 全生命周期管理中，相比傳統(tǒng)存儲(chǔ)的分離架構(gòu)，數(shù)據(jù)流轉(zhuǎn)成本大大降低，同步提升了計(jì)算GPU 的利用率，將業(yè)務(wù)等待時(shí)間剔除，提升效率，業(yè)務(wù)連續(xù)性也得到保障。YRCloudFile具備強(qiáng)大升級(jí)能力，當(dāng)前配置可隨業(yè)務(wù)在線快速升級(jí)，無論IO能力或是網(wǎng)絡(luò)適配能力，在客戶數(shù)據(jù)規(guī)模持續(xù)增長(zhǎng)的過程中可靈活調(diào)整性能配置，將建設(shè)成本優(yōu)化，降低TCO。

相關(guān)企業(yè)介紹

·焱融科技

焱融科技是一家專注于軟件定義存儲(chǔ)技術(shù)及數(shù)據(jù)服務(wù)的高新技術(shù)企業(yè)，采用分布式存儲(chǔ)架構(gòu)為企業(yè)級(jí)用戶及應(yīng)用提供高效的數(shù)據(jù)存儲(chǔ)和管理服務(wù)，致力于打造 AIGC 時(shí)代的高性能存儲(chǔ)系統(tǒng)。

YRCloudFile是焱融科技自主創(chuàng)新研發(fā)的分布式文件存儲(chǔ)系統(tǒng)，支持容量和性能的彈性水平擴(kuò)展，具備高性能、高可用、高可靠、云上部署等產(chǎn)品特性。目前，焱融科技分布式文件存儲(chǔ)在 AI、智能汽車行業(yè)市場(chǎng)占有率排名領(lǐng)先。憑借在 AI 領(lǐng)域的先發(fā)優(yōu)勢(shì)，快速形成行業(yè)突破，落地百余家智慧高校、人工智能、自動(dòng)駕駛、互聯(lián)網(wǎng)、智能制造、能源、國(guó)家實(shí)驗(yàn)室等行業(yè)標(biāo)桿客戶。

·智譜AI

智譜AI致力于打造新一代認(rèn)知智能大模型，專注于做大模型的中國(guó)創(chuàng)新。公司合作研發(fā)了雙語千億級(jí)超大規(guī)模預(yù)訓(xùn)練模型GLM-130B，推出了千億基座的對(duì)話模型ChatGLM及開源單卡版模型ChatGLM-6B，并打造大模型產(chǎn)品矩陣，包括生成式AI助手智譜清言、高效率代碼模型CodeGeeX、高精度文圖生成模型CogView、多模態(tài)對(duì)話語言模型VisualGLM-6B等。公司踐行Model as a Service（MaaS）的市場(chǎng)理念，推出大模型MaaS開放平臺(tái)，基于領(lǐng)先的千億級(jí)多語言、多模態(tài)預(yù)訓(xùn)練模型，實(shí)現(xiàn)高效率、通用化的“模型即服務(wù)”AI開發(fā)新范式。

文章來源地址http://www.zghlxwxcb.cn/news/detail-783639.html