豐色 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

沒想到啊，開源大模型家族里，居然擠進來一位特別的選手：

來自央企，身份為運營商。

具體是誰？

中國電信。

所謂“不鳴則已，一鳴驚人”：

中國電信集團成立的中電信人工智能科技有限公司憑借全自研算法、精心打造的高質(zhì)量數(shù)據(jù)集，發(fā)布星辰AI大模型。

其目前開源的版本在大模型知名榜單CSL上排名第五、GAOKAO排名第七、AGIEval排名第八。

什么概念？和科技公司出品的專業(yè)選手們站在了同一陣營。

現(xiàn)在，隨著其代碼和模型在Github、Gitee、HuggingFace三個平臺一并可獲取使用，中國電信也順勢成為央企中率先完成大模型研發(fā)和開源的選手。

加上不久之前，AI領(lǐng)域Fellow大滿貫科學(xué)家李學(xué)龍加盟，出任電信CTO——

所以作為率先交卷大模型的央企和運營商，在大模型研發(fā)這件事上，它究竟有哪些驚艷之處？

電信大模型長什么樣？

早在去年五月中旬，經(jīng)過數(shù)十版模型訓(xùn)練與優(yōu)化，中國電信就完成了百億參數(shù)星辰AI大模型穩(wěn)定版本的訓(xùn)練。

正式發(fā)布則是在去年7月的人工智能科技大會上，為運營商中首個。

很快，歷經(jīng)又一輪迭代，星辰AI大模型的千億參數(shù)版本于11月發(fā)布。

它最大可支持96k的上下文推理，相比第一代，長文生成和理解能力提升30%。

此外，模型幻覺問題也降低了40%，并在模型量化方面取得突破——訓(xùn)練顯存降低50%的同時，推理速度提升4.5倍。

具體來看，星辰AI大模型具備以下諸多通用能力，包括：

常識問答、寫作、文本翻譯潤色/結(jié)構(gòu)化任務(wù)、邏輯推理、數(shù)學(xué)、輔助代碼生成……

模型本身則提供了近100個prompt模版任務(wù)，包括營銷宣傳、PPT制作、評價分析、行業(yè)分析等，方便大伙拿來就用：

在這之中，星辰AI大模型最大的亮點或者最擅長的地方就是長文寫作。

根據(jù)用戶提示詞，它可以準確地生成結(jié)構(gòu)完整、邏輯清晰的文章，平均字數(shù)超過1500字。

據(jù)統(tǒng)計，在電信內(nèi)部，星辰AI大模型在此任務(wù)上的有效采納率可達85.7%，和國內(nèi)其他眾多大模型相比，表現(xiàn)相當(dāng)出色。

而除了長文寫作這一大亮點，星辰AI大模型還具備強大的插件功能，可以解決更為復(fù)雜、多場景的任務(wù)。

例如搜索插件，用于支持各種常識問答，標注來源，使結(jié)果更為準確。

在插件的具體調(diào)用上，電信設(shè)計了非常細致的數(shù)據(jù)格式，可以使得模型深刻理解用戶任務(wù)，并依照嚴格的流程執(zhí)行推理，最終得出答案。

如果再配合上思維鏈技術(shù)，星辰AI大模型的能力還能更進一步。

據(jù)介紹，在中國電信企業(yè)內(nèi)部以及對外企事業(yè)單位客戶的業(yè)務(wù)中，星辰AI大模型已實現(xiàn)初步落地，在網(wǎng)絡(luò)故障分析和客戶服務(wù)業(yè)務(wù)中展現(xiàn)出巨大價值。

對于前者，星辰AI大模型通過對大量故障數(shù)據(jù)的學(xué)習(xí)和分析，能夠迅速識別潛在問題并提供有效的解決方案，從而提高網(wǎng)絡(luò)運維的效率和質(zhì)量。

對于后者，新一代智能客服系統(tǒng)在接入星辰AI大模型之后，應(yīng)答能力大幅提升，問題覆蓋率超過95%，加上還能自動對客戶服務(wù)進行準確總結(jié)，因此還能進一步優(yōu)化服務(wù)流程，提高用戶滿意度。

對于此次開源，中國電信率先釋出的則是其百億參數(shù)版本，外推長度32k，底層代碼、算法邏輯等全部公開。

大伙既可以直接調(diào)用大模型，也可以根據(jù)自身業(yè)務(wù)需求對大模型進行微調(diào)或個性化設(shè)置——支持deepspeed微調(diào)框架、int8&&int4模型量化、升騰卡訓(xùn)推。

或者還可以用它加載自己的知識庫或數(shù)據(jù)，從而調(diào)整出更符合自身業(yè)務(wù)需求、更加個性化的理想結(jié)果。

具體來看，和前面介紹的還不同，電信將星辰AI大模型能力分門別類，此次一共開源的是5個細分大模型。

除了最基礎(chǔ)的星辰語義大模型，還包括：

• 星辰語音大模型?，它具備關(guān)鍵詞檢測、超自然語音合成、語音識別、語音翻譯、聲音匿名、AI 作曲和語音生成七大類算法能力，可用于音頻會議紀要整理、智能語音機器人等場景；

• 星辰多模態(tài)大模型，支持文生圖、圖生圖，可用于內(nèi)容創(chuàng)作、廣告營銷等；

• 啟明網(wǎng)絡(luò)大模型，專攻網(wǎng)絡(luò)運營，側(cè)重云網(wǎng)運營領(lǐng)域?qū)I(yè)知識查詢；

• 星辰經(jīng)分大模型，主攻數(shù)據(jù)分析和報告生成。

可以說相當(dāng)全面了。

算法純自研，核心優(yōu)勢在數(shù)據(jù)

有點驚喜有點意外，作為一家運營商，電信在大模型研發(fā)這件技術(shù)活上拿出態(tài)度，走了純自研方式：

背后搭建了一支800人的研發(fā)團隊，碩博占比超54.9%的那種。

他們在模型結(jié)構(gòu)、數(shù)據(jù)預(yù)處理、模型預(yù)訓(xùn)練以及人類偏好對齊、降低幻覺等方面都進行了優(yōu)化，注入了電信自己的“靈魂”。

具體來看，在模型結(jié)構(gòu)設(shè)計上，團隊采用解碼器架構(gòu)（decoder-only）并改進旋轉(zhuǎn)位置編碼（RoPE），再結(jié)合自適應(yīng)插值的NTK-aware + LogN算法，大幅提高了模型的外推能力，使其支持超長上下文（96k）理解。

在模型訓(xùn)練上，為了保證穩(wěn)定性，團隊又使用了Embedding LayerNorm算法，在嵌入層添加額外的RMSNorm層，并在每個Transformer子層前加入RMSNorm層。

為了提升訓(xùn)練和推理速度，他們又采用了SwiGLU激活函數(shù)替代傳統(tǒng)GELU激活函數(shù)的方式，將隱藏層大小設(shè)計為8/3d而非4d。

再通過將RoPE與FlashAttention-V2相結(jié)合，模型的訓(xùn)練速度進一步提高了20%以上。

在微調(diào)階段，團隊的做法則是在embedding層加入噪聲擾動來緩解過擬合，進一步提升模型問答質(zhì)量。

人類指令對齊上也下了不少功夫，經(jīng)過一系列bge向量化+聚類以及人類標注的方式，團隊得到完整、全面的基于人類偏好的排序數(shù)據(jù)。

然后又多次嘗試PPO、RRHF和DPO在內(nèi)的人類偏好排序數(shù)據(jù)訓(xùn)練策略，最終選擇DPO進行訓(xùn)練，實現(xiàn)人類偏好對齊，由此提升模型生成答案的安全性和規(guī)范性。

最后，在大模型幻覺問題上，中國電信研發(fā)團隊也給出了一套完整的解決方案：包括關(guān)鍵信息注意力增強技術(shù)、多輪知識記憶和強化技術(shù)、知識圖譜強化技術(shù)以及知識溯源，最終將大模型幻覺降低了40%。

——技術(shù)上的努力說了這么多，在造大模型這件事上，電信到底有哪些優(yōu)勢呢？

最為核心的就是數(shù)據(jù)。

數(shù)據(jù)的重要性對于大模型的性能不言而喻，而當(dāng)下，中文互聯(lián)網(wǎng)數(shù)據(jù)由于數(shù)據(jù)孤島、AI生成污染等問題存在獲取困難、質(zhì)量堪憂等情況。

在此，電信除了大量來自百科、書籍、司法、醫(yī)藥等維度的通用數(shù)據(jù)，也憑借自身業(yè)務(wù)積累了不少行業(yè)數(shù)據(jù)。

這使得電信大模型的中文訓(xùn)練數(shù)據(jù)超過25TB，中文總token量超8萬億。

經(jīng)過Knesey-Ney技術(shù)過濾、Minihash+Jaccard排重，以及幾百人專業(yè)標注團隊的人工標注，這批數(shù)據(jù)化為非常高質(zhì)量的數(shù)據(jù)集，為星辰AI大模型算法訓(xùn)練打下堅實基礎(chǔ)。

（值得一提的是，電信也將開源其中大部分數(shù)據(jù)，值得大伙期待一波。）

數(shù)據(jù)集有了，其次，算力也不缺：

對于大模型訓(xùn)練所需的極大算力需求，中國電信通過“2+31”天翼云布局基礎(chǔ)，構(gòu)建了全國四級超大算力底座來滿足。

簡單來說就是來自集團的2大核心算力集群（包含近萬臺GPU）與31個省級算力集群（同樣近萬臺GPU）進行云邊端協(xié)同，實現(xiàn)算力資源全國統(tǒng)籌調(diào)度管理，AI能力一鍵下發(fā)，多個大模型進行同時訓(xùn)練也可滿足。

最后，再加上前面所講的一系列核心算法自研和優(yōu)化，電信憑“數(shù)算法”三大強力后盾，甩出了星辰大模型這份成績單。

現(xiàn)在，更是將它豪氣開源，和專業(yè)選手一起，敢于直接交給公眾來檢驗。

那么，問題來了——

為什么能做到央企中第一個發(fā)布大模型？

首先，是態(tài)度上重視。

在大模型和AI技術(shù)上，中國電信有基礎(chǔ)有布局。

除了星辰AI大模型，在去年11月舉辦的數(shù)字科技生態(tài)大會上電信還發(fā)布了12個行業(yè)大模型，并推出“星辰MaaS生態(tài)服務(wù)平臺”，實現(xiàn)定制化服務(wù)。

以及可開箱即用的大模型生產(chǎn)應(yīng)用流水線產(chǎn)品“慧聚”，它預(yù)置多種基礎(chǔ)大模型、開發(fā)環(huán)境、數(shù)據(jù)訓(xùn)練工具等，使得電信不僅自己生產(chǎn)大模型，還提供能力幫其他企業(yè)開發(fā)大模型。

而這一切，基于的是電信已歷經(jīng)10年的AI能力建設(shè)。

在軟件算法領(lǐng)域，中國電信的人臉識別、動作檢測、對象跟蹤檢測等多項技術(shù)斬獲世界大獎，數(shù)字人技術(shù)所支撐的智能客服產(chǎn)品也在國際賽事DCASE2023 task-A賽道中獲得季軍，此外還與華為聯(lián)合發(fā)布了AI高性能推理框架UniStream。

這無比體現(xiàn)著中國電信扎實的AI基礎(chǔ)實力。

其次，有人才有大牛。

如前文介紹，為了搭星辰AI大模型，中國電信快速組建了一支近800人的研發(fā)團隊，成員來自國內(nèi)外頂尖高校，如清華、北大、斯坦福和哥倫比亞等，平均年齡31.79歲。

其中純技術(shù)人員占比75%，碩博占比超54.9%，這波人才幫助電信在對內(nèi)對外業(yè)務(wù)中取代外部算法能力，實現(xiàn)核心算法能力自主可控。

在廣納基礎(chǔ)人才之外，電信也坐擁一批大牛，其中包括去年年底全職加盟中國電信擔(dān)任CTO以及首席科學(xué)家的李學(xué)龍。

作為AI領(lǐng)域Fellow大滿貫選手、“多模態(tài)認知計算”的提出者，他將帶領(lǐng)電信人工智能研究院，繼續(xù)開展基礎(chǔ)、前沿研究。

最后，我們了解到，其實不止于AI和大模型，中國電信在很多技術(shù)上都進行了投入，并且也取得了同行優(yōu)勢。

例如量子通信，中國電信不久前發(fā)布了具備“量子優(yōu)越性”能力的“天衍”量子計算云平臺，此前還開通了國內(nèi)規(guī)模最大、用戶最多、應(yīng)用最全的量子保密通信城域網(wǎng)，并主導(dǎo)制定了中央企業(yè)第一牽頭立項的7項量子通信行業(yè)標準（含團標）中的5項。

再例如在新一代信息通信技術(shù)上，中國電信實現(xiàn)“手機直連衛(wèi)星”全面商用，發(fā)布了全球首個支持消費級5G終端直連衛(wèi)星雙向語音和短信的運營級產(chǎn)品。

可以看出，中國電信雖為傳統(tǒng)運營商，但在技術(shù)上一貫都很重視，并且在其中的投入可能比我們想象得還要深。

因此，對于本段提出的問題：

為什么中國電信能做到央企中第一個發(fā)布大模型？

答案也就情理之中了。

—?完?—

點這里??關(guān)注我，記得標星哦～文章來源地址http://www.zghlxwxcb.cn/news/detail-833428.html