云布道師
1 月 11 日，全球領(lǐng)先的云計(jì)算廠商阿里云宣布推出第八代企業(yè)級(jí)通用計(jì)算實(shí)例 ECS g8i，這也是國(guó)內(nèi)首款搭載第五代英特爾至強(qiáng)可擴(kuò)展處理器（代號(hào) EMR）的云計(jì)算產(chǎn)品。依托阿里云自研的「飛天+CIPU」架構(gòu)體系，ECS g8i 實(shí)例的整機(jī)性能最高提升 85%，AI 推理性能最高提升 7 倍，可支撐高達(dá) 72B 參數(shù)的大語(yǔ)言模型，為 AI 提速，同時(shí)新實(shí)例還提供了端到端安全防護(hù)，為企業(yè)構(gòu)建可信 AI 應(yīng)用提供強(qiáng)有力的隱私增強(qiáng)算力支撐。
通用算力再提升，整機(jī)性能提升 85%
作為企業(yè)級(jí)通用計(jì)算實(shí)例，ECS g8i 實(shí)例在計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和安全等能力得到了全方位提升。從關(guān)鍵參數(shù)上看，ECS g8i 實(shí)例的 L3 緩存容量提升到 320MB，內(nèi)存速率高達(dá) 5600MT/s，整機(jī)性能提升 85%，單核性能提升 25%；存儲(chǔ)方面，ESSD 云盤提供 100萬(wàn) IOPS，全面搭載 NVMe，存儲(chǔ)延遲低至百微秒；網(wǎng)絡(luò)方面，PPS 高達(dá) 3000 萬(wàn)，標(biāo)配阿里云自研 eRDMA 大規(guī)模加速能力，時(shí)延低至 8 微秒；安全方面，ECS g8i 實(shí)例支持可信計(jì)算與加密計(jì)算等特性，全球率先支持機(jī)密虛擬機(jī) TDX 技術(shù)，構(gòu)建了全面的安全防護(hù)。
在 E2E 場(chǎng)景下，ECS g8i 實(shí)例可將 MySQL 性能提升最高達(dá) 60%，Redis 和 Nginx 的性能分別提升 40% 和 24%，面向游戲、視頻直播、電商、金融、醫(yī)療、企業(yè)服務(wù)等行業(yè)提供強(qiáng)勁的算力支持，滿足其在數(shù)據(jù)庫(kù)、大數(shù)據(jù)、AI 推理等應(yīng)用場(chǎng)景下對(duì)性能的嚴(yán)苛要求。
此外，ECS g8i 實(shí)例還提供了多種硬件原生加速能力，包括 QAT 和 IAA 等加速器。阿里云通過(guò)自研技術(shù)，將硬件加速能力更細(xì)顆粒度透?jìng)髦翆?shí)例虛擬機(jī)，小規(guī)格的 ECS g8i 實(shí)例也同樣具備加速能力。其中，依托于 QAT 原生加解密加速器，ECS g8i 實(shí)例在壓縮/解壓縮場(chǎng)景下性能最大可提升 70 倍，加解密性能提升 4 倍以上。
為 AI 提速，可支撐 72B 參數(shù)的大語(yǔ)言模型
生成式 AI 掀起的技術(shù)革命，正在推動(dòng)計(jì)算范式發(fā)生根本性的變化。當(dāng)前，AI 大模型推理在算力上依然面臨諸多挑戰(zhàn)，例如首包延遲受限于并行處理能力與浮點(diǎn)運(yùn)算能力，吞吐性能則受限于內(nèi)存帶寬和網(wǎng)絡(luò)延遲。
阿里云 ECS g8i 實(shí)例針對(duì)這些難題都進(jìn)行了相當(dāng)程度的優(yōu)化，包括內(nèi)置指令集從AVX512 升級(jí)到了 Intel AMX 高級(jí)矩陣擴(kuò)展加速技術(shù)，可讓生成式 AI 更快地運(yùn)行。相對(duì)于 AVX512 指令集，啟用 AMX AI 加速后，ECS g8i 實(shí)例在 int 8 矩陣計(jì)算的性能最高提升 7 倍。
基于 AMX AI 加速能力，g8i 可更迅速地響應(yīng)中小規(guī)模參數(shù)模型，運(yùn)行知識(shí)檢索、問(wèn)答系統(tǒng)及摘要生成等 AI 工作負(fù)載時(shí)，起建成本相比 A10 GPU 云服務(wù)器下降50%。此外，配合阿里云平臺(tái)的 Spot 搶占式實(shí)例，成本優(yōu)勢(shì)將進(jìn)一步凸顯，進(jìn)一步降低 AI 推理成本。
對(duì)于超大規(guī)模參數(shù)的模型來(lái)講，通常會(huì)通過(guò)模型并行、流水線并行切分到 AI 集群，這個(gè)時(shí)候網(wǎng)絡(luò)通訊成了主要的性能瓶頸。基于阿里云自研的 eRDMA 超低延時(shí)彈性網(wǎng)絡(luò)，ECS g8i 實(shí)例集群擁有超低延時(shí)網(wǎng)絡(luò)和高彈性優(yōu)勢(shì)，可輕松支撐 72B 參數(shù)級(jí)別的大語(yǔ)言模型分布式推理，推理性能隨集群規(guī)模接近線性加速，并可支持超過(guò)32batchsize 的超大參數(shù)規(guī)模的 AI 模型負(fù)載，運(yùn)行文生圖、AI 生成代碼、虛擬助手以及創(chuàng)意輔助工具等 AI 工作負(fù)載。
以阿里云開源的 Qwen-72B 大模型為例，可在 g8i 實(shí)例 eRDMA 網(wǎng)絡(luò)構(gòu)建的集群實(shí)現(xiàn)高效運(yùn)行，在輸入小于 500 字情況下，首包延時(shí)小于 3 秒，每秒可生成 7 個(gè)Token。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-823294.html
為安全加碼，助力企業(yè)構(gòu)建可信 AI 應(yīng)用
長(zhǎng)久以來(lái)，云廠商一直在不遺余力提升數(shù)據(jù)的隱私保護(hù)和安全性，AI 時(shí)代尤為明顯?；谧匝械?CIPU，阿里云在全產(chǎn)品線構(gòu)建了端到端的安全防護(hù)，可保障數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)傳輸、數(shù)據(jù)計(jì)算的全流程安全。在最底層，基于 CIPU 的安全架構(gòu)搭載安全芯片 TPM 作為硬件可信根，實(shí)現(xiàn)服務(wù)器的可信啟動(dòng)，確保零篡改；虛擬化層面，支持虛擬可信能力 vTPM，提供實(shí)例啟動(dòng)過(guò)程核心組件的校驗(yàn)?zāi)芰?；在?shí)例可信的基礎(chǔ)上支持不同平臺(tái)的機(jī)密計(jì)算能力，實(shí)現(xiàn)了運(yùn)行態(tài)的內(nèi)存數(shù)據(jù)隔離和加密的保護(hù)。
值得一提的是，此次升級(jí)的 ECS g8i 實(shí)例全量支持 Trust Domain Extension TDX 技術(shù)能力，業(yè)務(wù)應(yīng)用無(wú)需更改，即可部署到 TEE 之中，極大降低了技術(shù)門檻，并以極低的性能損耗為大模型等 AI 應(yīng)用提供隱私增強(qiáng)算力，護(hù)航大模型的云上數(shù)據(jù)安全。
以 Qwen-Chat-7B 模型為例，啟用 TDX 后，既確保了模型推理的安全可信，也保護(hù)了數(shù)據(jù)的機(jī)密性和完整性。
文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-823294.html
到了這里，關(guān)于阿里云推出第八代企業(yè)級(jí)實(shí)例 g8i：AI 推理性能最高提升 7 倍、可支持 72B 大語(yǔ)言模型的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
