概述
自 ChatGPT 大模型橫空出世以來,文心一言、通義千問等諸多大模型接踵而來,感覺這個世界每天都在發(fā)生著翻天覆地的變化。
今年很有幸,參與了云棲的盛宴,當(dāng)時被震驚到瞠目結(jié)舌,12 月 20 日百度云智能云智算大會,又給我一記重拳,這讓我不由得開始重新評估 AI 與我們的距離,AIGC 的時代或許已經(jīng)開始吹響沖鋒的號角,而我們也應(yīng)該做好充足的準(zhǔn)備,迎接新的挑戰(zhàn)。
在此次百度智能云智算大會上,我細(xì)致的聽了全程,受益匪淺,學(xué)習(xí)到很多先進的概念,例如云智一體、智算、數(shù)據(jù)"智"理、模型即服務(wù)等。這都不由得讓我感嘆 AI 發(fā)展的迅速,新的信息風(fēng)暴已經(jīng)在爆發(fā)的前夕,不日,必將石破天驚。
百度智能云此次地主題是"重構(gòu)云計算,打造 AI 原生時代地云計算產(chǎn)品與技術(shù)體系"。重構(gòu)這個詞通常與解構(gòu)并行出現(xiàn),解構(gòu)最早來源于海德格爾的《存在與時間》,為分解、消解、拆解、揭示等;重構(gòu)是對解構(gòu)的擴展和延伸,在程序設(shè)計中所用甚廣,通常意指調(diào)整代碼結(jié)構(gòu),使其設(shè)計模式和架構(gòu)更趨合理。
毫無疑問,在計算機的領(lǐng)域,這是一個非常大的詞,更何況后續(xù)還附帶了體系兩字,這不由得讓我欣喜,也讓我好奇,本次大會又會有何等驚濤駭浪的創(chuàng)新。
重構(gòu)——云原生時代
在長驅(qū)直入本次智算大會之前,我想先聊一下 AI 重構(gòu)的意義。
不知道大家有沒有切身實地的訓(xùn)練過 AI 模型,嘗試過 AI 模型的部署,如果你是一個初學(xué)者,你會發(fā)現(xiàn)這整個過程每個步驟都會讓你頭痛。
作為浪漫主義和完美主義熏陶的國人,精益求精是我們的核心驅(qū)動力,AI 模型也是這樣,我們無時無刻不試圖突破 AI 模型的精度極限,做到最優(yōu)、最好。在這個過程中模型參數(shù)量也在同步快速的膨脹,越來越大,大模型就這么出現(xiàn)了。
大模型帶來了更大的計算復(fù)雜度,訓(xùn)練對算力以及基礎(chǔ)設(shè)施的要求越來越高,訓(xùn)練所需的資源成本也隨之飆升。我們不可能停下前進的腳步,那么我們就必須解決兩個核心問題:如果穩(wěn)定的訓(xùn)練模型,如何持續(xù)的降本增效。
在一次百度智能云的線上公開課中,針對于當(dāng)下的 AI 的痛點問題,主要總結(jié)了亮點:
- 資源效能: 資源利用率、異構(gòu)芯片調(diào)度等
- 工程效能:大模型落地、訓(xùn)練/推理任務(wù)的效率等
AI 工程效率低下,是當(dāng)下亟待解決的核心問題。那我們又該如何優(yōu)化那?
云原生,沒錯,云原生。
云原生 CNCF 定義:云原生是構(gòu)建應(yīng)用程序一類技術(shù)的統(tǒng)稱,通過云原生技術(shù)可以構(gòu)建出可彈性擴展的應(yīng)用程序,這些應(yīng)用程序可以被運行在不同環(huán)境當(dāng)中,比如公有云、私有云、混合云等新型動態(tài)環(huán)境中。
定義非?;逎?,難以理解,但我們可以從中捕獲到兩個關(guān)鍵詞:可彈性擴展和動態(tài)環(huán)境。借助云原生,應(yīng)用的開發(fā)者不再需要考慮底層的環(huán)境,可以實現(xiàn)快速部署、按需彈性擴伸縮的應(yīng)用程序。云原生 AI 則是更貼近 AI 場景的重構(gòu)設(shè)計,以容器服務(wù)為核心,以云原生技術(shù)為基礎(chǔ)架構(gòu)的 AI 工程解決方案,整合云計算、存儲等服務(wù),貫穿 AI 任務(wù)的全周期。
聽起來是不是有些困難,在互聯(lián)網(wǎng)界,越是基礎(chǔ)、越是核心的基礎(chǔ)設(shè)施,解決方案,越是卷,百度智能云又會如何展開自己的重構(gòu)之路,搭建云原生AI基礎(chǔ)設(shè)施那?
智算時代
百舸 3.0
云原生 AI 可以幫助 AI 任務(wù)實現(xiàn)資源的高效利用和無縫遷移等問題,在此次百度智能云智算大會中,百度進一步重構(gòu)了智算基礎(chǔ)設(shè)施,針對大模型場景進行了專項優(yōu)化。全新發(fā)布百度百舸· AI 異構(gòu)計算平臺 3.0,百舸 3.0 承載了百度智能云的云原生 AI,是一套專注于 AI 工程化建設(shè),提供軟硬一體的異構(gòu)計算平臺。
百舸 3.0 對原生 AI 應(yīng)用和大模型的訓(xùn)練、推理等環(huán)節(jié)進行了全面、專向優(yōu)化升級,可以看一組官方的參數(shù),你就可以估量此次更新的厚重。其一最高可提升模型訓(xùn)、推吞吐 30% 和 60%;其二,在資源利用方面,能夠?qū)崿F(xiàn) 98% 的超高集群有效訓(xùn)練時間占比,95% 的網(wǎng)絡(luò)帶寬有效利用率,充分釋放集群有效算力,大幅降低客戶的資源與時間成本;其三,提供了一套完備的體系,包含豐富的運維和可觀測工具、自動化容錯保障能力等。
我們可以清晰的發(fā)現(xiàn),百舸 3.0 正是針對于當(dāng)下 AI 的痛點問題,做出的有效應(yīng)對,百舸 3.0 構(gòu)建的體系真的很龐大健全,能滿足工程的所需。遇到問題,分析問題,解決問題,我相信也是整個百度智能云發(fā)展的核心思路,致敬。
極致性價比的基礎(chǔ)云服務(wù)
AI 應(yīng)用不止需要模型、服務(wù)等軟件層面的繁榮,更需要強大硬件的支撐。作為 AI 應(yīng)用的硬件基礎(chǔ)設(shè)施,我認(rèn)為要具備以下幾點:性能高、成本低、高可靠。
百度智能云在基礎(chǔ)設(shè)施方面做了很多努力,致力于打造極致性價比的基礎(chǔ)云服務(wù),也就是百度太行系列。
太行這個名字我非常喜愛,太行山脈,就彷佛有一種厚重、扎實、可靠的感覺。沒錯,百度太行系列也是如此。
- 百度太行 DPU(Data Processing Unit),打造了統(tǒng)一的高性能云原生基礎(chǔ)設(shè)施架構(gòu),可以有效提高資源利用率,能夠?qū)?CPU、GPU 的算力資源應(yīng)用滿格 100%。
- 百度太行·計算作為高性能、高彈性、高可靠的云服務(wù)算力底座,此次推出三款全新計算實例
- 提供更高效的算力服務(wù)的通用計算型云服務(wù)器實例 G7,搭載英特爾最新的第五代至強可擴展處理器,綜合性能較上一代產(chǎn)品提升 10%。
- 大模型推理場景綜合性能較業(yè)界主流加速卡可提升達 50% 的 NKL5 實例,搭載了百度自研的昆侖芯 R300 加速處理器,加強了顯存規(guī)格與 AI 加速處理器互聯(lián)通信性能,在;
- 綜合性能較業(yè)界主流加速卡提升可達 40% ,使能大模型開發(fā)提速的彈性性能計算實例 NH6T,支持 3.2Tbps RDMA 高速互聯(lián)帶寬。
- 百度太行計算新一代高性能網(wǎng)關(guān)平臺,提高網(wǎng)絡(luò)性能,支持百度網(wǎng)盤、百度地圖等百度生圖的內(nèi)網(wǎng)便捷訪問,降低數(shù)據(jù)泄露、時延抖動的危險,大幅度降低數(shù)據(jù)傳輸成本和數(shù)據(jù)處理效率。
分布式云基礎(chǔ)設(shè)施
云邊互聯(lián)是前段時間我非常關(guān)注的話題,在邊緣節(jié)點上實現(xiàn)智能化,能有效提高數(shù)據(jù)實時性,降低數(shù)據(jù)傳遞泄露的風(fēng)險。特別是在一些 IOT 領(lǐng)域,云邊互聯(lián)能有效推動其發(fā)展,在這個 AIGC 迅速發(fā)展的時期,我有時就在想,如果 AIGC 碰撞 IOT,會出現(xiàn)那些讓人眼前一亮的改變那?
此次百度智能云智算大會,我特別喜歡官方提出一個理念:讓智算無處不在,智能無所不及(改成觸手可及是否更大氣一些)。這完美響應(yīng)了我的智能理念,無所不在,觸手可及。那么這就需要無數(shù)的端、邊緣節(jié)點,共同搭建起繁榮的云邊架構(gòu)。
百度智能云對此也做出了諸多升級
- 邊緣計算節(jié)點(類似理解成端就行)覆蓋范圍擴大,智算能力升級,構(gòu)建愈加完善的云邊一體
- ABC Stack 支持本地部署百度智能云千帆大模型平臺,為企業(yè)構(gòu)建專屬大模型按下加速鍵
- 本地計算機成 LCC 新能力發(fā)布
數(shù)據(jù)"智"理
這個詞真的有點說到我的心坎上了,數(shù)據(jù)治理,但更要智理,這不僅是字面意思的改變,更是思維層面的跨越,智慧化可以漫步我們的日常,這是一個非常振奮的進步。
對于都模型和 AI 應(yīng)用,數(shù)據(jù)的存儲也是至關(guān)重要的,如何高效的存、高效的取是我們需要關(guān)注的關(guān)鍵之一。
百度智能云敏銳的捕捉到了這一點,在云存儲、云數(shù)據(jù)庫等基礎(chǔ)領(lǐng)域進行了一系列重磅更新,還有我最害怕的一集。
- 百度滄?!ご鎯Γ质且粋€很雅致的名字,海洋遼闊無疆,有容乃大,滄海是百度智能云的存儲的同意技術(shù)底座,支持各類存儲產(chǎn)品,存儲高性能、低成本。
- 云原生數(shù)據(jù)庫 GaiaDB 4.0 版本性能大幅度提升,增強并行查詢能力,突破單機計算瓶頸,實現(xiàn)跨機多核并行查詢,在混合負(fù)載和實時分析業(yè)務(wù)場景中性能提升超過 10 倍。此外,通過共識協(xié)議優(yōu)化、鏈路優(yōu)化、自適應(yīng)動態(tài)回放存儲多版本等一些列數(shù)據(jù)流深度優(yōu)化,大幅提升 GaiaDB 整體性能 60% 以上
還有最害怕的一集,百度智能云發(fā)布了一款數(shù)據(jù)庫智能駕駛艙,通過引入大模型能力,能夠?qū)崿F(xiàn)對數(shù)據(jù)庫進行自動的智能化的洞察、評估和優(yōu)化。蛤?自動智能化洞察,我沒聽錯吧。此款智能倉可以媲美專業(yè)的 DBA 水平,復(fù)雜問題回復(fù)的準(zhǔn)確率超過 80%,我有點開始擔(dān)心未來了,如果此類產(chǎn)品的價位比較適合,很可能可以替換部分基礎(chǔ)的工作,再不卷,崗位都要被替代了。
模型即服務(wù)——千帆大模型平臺
大模型將作為新的通用服務(wù)能力,我不由一驚,大模型都已經(jīng)開始作為服務(wù)了嗎,AI 距離我們真的是越來越近了。
百度智能云千帆大模型平臺目前已經(jīng)可以提供包括百度文心大模型在內(nèi)的、國內(nèi)最多的 54 個主流基礎(chǔ)大模型和行業(yè)大模型,還為大模型的持續(xù)預(yù)訓(xùn)練、精調(diào)、評估、壓縮和部署等環(huán)節(jié)提供最完善易用的工具鏈,據(jù)官方統(tǒng)計,相較于自建系統(tǒng)訓(xùn)練大模型,使用千帆平臺訓(xùn)練的成本最高可以下降 90%。
千帆平臺提供一個完整、龐大的模型工具鏈,初次聽到這消息我有些吃驚,大會結(jié)束后,我連忙去官網(wǎng)體驗了一番,沒錯,千帆提供了免費的體驗,這點真的大大的好評。
如果日常中實踐過 AI 應(yīng)用,你會發(fā)現(xiàn)千帆把你想到的都想到了,沒想到的也都實現(xiàn)了,它提供了一組標(biāo)準(zhǔn)化的流程,按照它的思路走,可以省無數(shù)的功夫,這都是血淋淋的經(jīng)驗,盲人摸象真的會暈,會亂。
下面是千帆平臺的模型廣場和體驗中心。
上面看到 54 個模型只是個單調(diào)的數(shù)字,當(dāng)我真正看到模型的列表時,才深深的感慨百度智能云的發(fā)展,54 個大模型啊,這得多久才能調(diào)試、測試出來,它蘊涵了百度人的辛勤勞動。
體驗中心可以體驗對話類(Gpt)和繪畫類,繪畫類挺讓我驚喜的,雖然它只提供了 Stable diffusion XL 模型,也不支持一些微調(diào)模型,但是它給提供了 500 次免費在線的體驗過程。我有好多小伙伴,都想體驗 AI 繪畫,但是迫于環(huán)境難搭,性能不足,只能望洋興嘆。千帆平臺不只為企業(yè)提供了完備的功能,還為個人開發(fā)者提供了學(xué)習(xí)和嘗試的平臺,更多人參與 AI 不是夢想。此外,還提供了豐富的 prompt 模板,真是不能再贊了。
千帆 AppBuilder
按照以往以我對百度的了解,百度喜歡把產(chǎn)品由繁化簡,提高使用者的開發(fā)效率,降低開發(fā)者的使用門檻,以此來推動行業(yè)的進步。
AI 應(yīng)用開發(fā)目前來看門檻還是甚高,社會的輿論以及人們的錯判都是阻擋當(dāng)下 AI 發(fā)展的因素,AI 普適化還需要很長的路。百度智能云千帆 AppBuilder 就是一個很好的嘗試,它邁出了關(guān)鍵的異步,該平臺提供了一套基于 Web 的 AI 應(yīng)用開發(fā)工具,將基于大模型開發(fā) AI 原生應(yīng)用的常見模式、工具、流程,沉淀成一個工作臺,幫助開發(fā)者聚焦業(yè)務(wù)本身,而無需為開發(fā)過程牽扯多余精力,讓開發(fā)者可以快速的進行 AI 應(yīng)用的開發(fā)。
AppBuilder 由組件和框架構(gòu)成,其中組件主要包含一些能力服務(wù),例如文字識別、文生圖、長文總結(jié)等;框架則是將組件按照應(yīng)用所需串聯(lián)起來,構(gòu)建一個特定場景。目前 AppBuilder 官方提供了幾個在線體驗的應(yīng)用,配置起來特別簡單,我甚至都感覺我并不是在開發(fā) AI 應(yīng)用,只不過在做簡單的網(wǎng)站,AppBuilder 用起來實現(xiàn)太簡單輕便了,我不由得有點憧憬 AI 的未來。
文章來源:http://www.zghlxwxcb.cn/news/detail-761071.html
最后附贈一句侯震宇老師的預(yù)測,2024 年將成為 AI 原生應(yīng)用的元年,迎來AI原生應(yīng)用的爆發(fā)式增長。我也隱隱的感覺到,AI距離我們越來越近了,那就讓我們一起跟隨著百度智能云的腳步,好風(fēng)憑借力,送我上青云,一起見證AI的輝煌時代。文章來源地址http://www.zghlxwxcb.cn/news/detail-761071.html
到了這里,關(guān)于重構(gòu)云計算,打造 AI 原生時代的云計算產(chǎn)品與技術(shù)體系,實現(xiàn) AI 零距離的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!