摘要:本文主要討論了AIGC(人工智能生成內(nèi)容)的發(fā)展歷程、現(xiàn)狀、應(yīng)用,淺析其背后技術(shù)發(fā)展、與華為云的聯(lián)系,以及面臨的挑戰(zhàn)和展望。
本文分享自華為云社區(qū)《AIGC:人工智能生成內(nèi)容的崛起與未來展望》,作者:杜甫蓋房子。
AIGC被認(rèn)為是繼專業(yè)生成內(nèi)容(PGC)和用戶生成內(nèi)容(UGC)之后,利用人工智能技術(shù)自動(dòng)生成內(nèi)容的新型生產(chǎn)方式。隨著技術(shù)的發(fā)展,如Stable Diffusion和ChatGPT等領(lǐng)先技術(shù)的出現(xiàn),AIGC逐漸在文字、圖像、音樂、視頻、3D等多種形式內(nèi)容的生產(chǎn)上發(fā)揮作用。然而,AIGC的快速發(fā)展同時(shí)也面臨一系列挑戰(zhàn),包括技術(shù)、安全、合規(guī)等方面。因此,我們既要擁抱變化,也要直視挑戰(zhàn),以期在不久的未來,AIGC能夠在更多領(lǐng)域大放異彩,開啟云計(jì)算產(chǎn)業(yè)鏈新一輪的景氣周期。
發(fā)展歷程
AIGC(Artificial Intelligence Generated Content),國內(nèi)產(chǎn)學(xué)研各界對(duì)它的理解是“繼專業(yè)生成內(nèi)容(Professional Generated Content,PGC)和用戶生成內(nèi)容(User Generated Content,UGC)之后,利用人工智能技術(shù)自動(dòng)生成內(nèi)容的新型生產(chǎn)方式”。
2022.09.23紅杉美國發(fā)表了文章:《Generative AI: A Creative New World》,認(rèn)為AIGC將帶來新一輪的范式轉(zhuǎn)移。2022.11.30 ChatGPT發(fā)布,用戶飛速增長,AIGC走進(jìn)了大眾視野中。無論是技術(shù)工作者、內(nèi)容生產(chǎn)工作者還是營銷推廣工作者,都應(yīng)該對(duì)AIGC有一定的了解。
AI的發(fā)展大致可以劃分為三個(gè)階段,我們用一張圖簡(jiǎn)單展示一下有關(guān)AICG的發(fā)展歷程與典型事件:
參考:中國信息通信研究院
目前,AIGC正處于蓬勃發(fā)展的時(shí)期,大型企業(yè)加強(qiáng)投資布局,發(fā)布多領(lǐng)域的預(yù)訓(xùn)練模型,如谷歌發(fā)布了BERT、Imagen等模型,F(xiàn)acebook發(fā)布了OPT-175B、M2M-100等模型,微軟投資OpenAI,發(fā)布了GPT4、Codex等模型,百度也在大模型領(lǐng)域深耕,發(fā)布了文心系列模型。此外,創(chuàng)業(yè)企業(yè)融資高漲,2022年10月,Stability AI獲得約1億美元融資,估值高達(dá)10億美元,Jasper拿下1.25億美元A輪融資,估值15億美元。在應(yīng)用側(cè),熱點(diǎn)AIGC應(yīng)用的用戶數(shù)量呈指數(shù)級(jí)增長,例如ChatGPT用戶破億僅用了兩個(gè)月。我們認(rèn)為,AIGC 技術(shù)正逐漸滲透到人們的生活、工作場(chǎng)景中,AIGC技術(shù)發(fā)展與產(chǎn)業(yè)形態(tài)已初步形成,處于方興未艾大有可為之時(shí)。
現(xiàn)狀及應(yīng)用
AIGC的發(fā)展依托于底層算力、算法的發(fā)展,從生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)開始,AI生成高質(zhì)量?jī)?nèi)容的能力快速提升,一些具有代表性的算法模型的發(fā)展歷程如下:
圖源:《A Comprehensive Survey of AI-Generated Content (AIGC): A History of Generative AI from GAN to ChatGPT》
依托于這些算法,不同任務(wù)領(lǐng)域內(nèi)涌現(xiàn)了一批預(yù)訓(xùn)練模型與應(yīng)用:
從技術(shù)場(chǎng)景上看,AIGC逐步在文字、圖像、音樂、視頻、3D等多種形式內(nèi)容的生產(chǎn)上發(fā)揮作用,在新聞稿、財(cái)報(bào)等結(jié)構(gòu)化寫作場(chǎng)景有較好的表現(xiàn),在圖像生成領(lǐng)域可以在細(xì)粒度上遵循人類指導(dǎo)完成指定主題內(nèi)容的創(chuàng)作,如Copilot等生產(chǎn)力工具也紛紛涌現(xiàn)。
從更多的延展場(chǎng)景上看,AIGC可以有更廣泛的應(yīng)用,如合成數(shù)據(jù),生成虛構(gòu)但與目標(biāo)場(chǎng)景保持一致屬性的虛擬數(shù)據(jù),從而避免AI一直為人詬病的數(shù)據(jù)偏見與隱私泄露問題;基于AIGC的虛擬陪伴也會(huì)帶來更多的社會(huì)價(jià)值,已經(jīng)有一些企業(yè)將人工智能技術(shù)應(yīng)用到精神健康的數(shù)字診療服務(wù)上,為臨床患者和廣大心理亞健康人群提供高質(zhì)量、低成本、個(gè)性化、全天候的情緒支持、心理咨詢和干預(yù)方案。
技術(shù)淺析
這一波火爆的AIGC技術(shù)中,Stable Diffusion 開源模型與 ChatGPT 分別引領(lǐng)了圖像與文本生成領(lǐng)域的熱潮,AIGC也逐漸從簡(jiǎn)單的降本增效(如結(jié)構(gòu)化寫作)向創(chuàng)造額外價(jià)值(如AI繪畫)轉(zhuǎn)移,我們將對(duì)這兩個(gè)模型的發(fā)展與其中涉及到的圖像與文本相關(guān)技術(shù)進(jìn)行簡(jiǎn)單介紹。
Stable Diffusion
AI繪畫在過去的一年中一直是AIGC領(lǐng)域的熱點(diǎn)話題,隨著Stable Diffusion的開源,眾多不同風(fēng)格的模型紛紛涌現(xiàn)。而高效參數(shù)微調(diào)方法LoRA與精細(xì)控制生成內(nèi)容的ControlNet的發(fā)布,更進(jìn)一步讓AI繪畫發(fā)展為產(chǎn)業(yè)可用的解決方案。
Stable Diffusion從實(shí)現(xiàn)原理上,可以通俗的理解為這幾步:
- 為了提升模型訓(xùn)練推理效率,捕捉高維信息,Stable Diffusion首先使用圖像編碼器,將圖像從像素空間壓縮到低維度的潛在空間;
- 使用如CLIP的文本編碼器,將描述文本轉(zhuǎn)換為文本向量;
- 在低維度的潛在空間中,基于一些條件(如文本向量)進(jìn)行Diffusion過程;
- 使用圖像解碼器將潛在空間中的向量轉(zhuǎn)換回像素空間來生成最終圖像。
圖源:《The Illustrated Stable Diffusion》
我們對(duì)Stable Diffusion中涉及兩個(gè)關(guān)鍵概念:CLIP與Diffusion進(jìn)行簡(jiǎn)單解釋:
- CLIP(Contrastive Language–Image Pre-training)是 OpenAI 在 2021 年提出的圖文對(duì)訓(xùn)練的多模態(tài)模型,可以通俗的理解,CLIP可以判斷圖片和文本的相似度。預(yù)訓(xùn)練的CLIP模型擁有建立文本潛在空間與圖片潛在空間對(duì)應(yīng)關(guān)系的能力,使用CLIP對(duì)文本進(jìn)行編碼可以實(shí)現(xiàn)文字描述控制圖像生成的需求。
- Diffusion Model是 AI 繪畫中非常常用的模型,在訓(xùn)練過程中,正向過程通過隨時(shí)間逐步向圖片中加噪的方式,讓圖片變成純?cè)朦c(diǎn)圖;逆向過程則是學(xué)習(xí)如何將一張?jiān)朦c(diǎn)圖恢復(fù)為高清圖。在推理時(shí),網(wǎng)絡(luò)會(huì)隨機(jī)初始化一個(gè)噪聲向量,訓(xùn)練好的Diffusion Model在條件向量(如文本向量)的控制下逐漸恢復(fù)出圖像向量,再通過圖像解碼器恢復(fù)為像素圖像。
ChatGPT
ChatGPT (GPT,Generative Pre-training Transformer) 是一個(gè)能夠理解人類語言并做出相應(yīng)反應(yīng)的人工智能系統(tǒng),在ChatGPT發(fā)布之前,GPT系列大模型已經(jīng)經(jīng)過幾輪迭代。
然而,之前的模型中存在一個(gè)典型的對(duì)齊問題,即大模型生成的響應(yīng)不一定符合用戶意圖。產(chǎn)生問題的原因是,從本質(zhì)上講,語言模型訓(xùn)練的目標(biāo)是預(yù)測(cè)下一個(gè)詞,而不是按照用戶意圖來生成。為了解決這個(gè)問題,在ChatGPT的訓(xùn)練過程中引入了基于人類反饋的強(qiáng)化學(xué)習(xí)(Reinforcement Learning from Human Feedback,RLHF)方法,通過手動(dòng)收集反饋數(shù)據(jù) -> 訓(xùn)練獎(jiǎng)勵(lì)模型 -> 強(qiáng)化學(xué)習(xí)的訓(xùn)練流程提升了模型理解人類思維的準(zhǔn)確性,可以通過一個(gè)簡(jiǎn)單的圖示來展示這一訓(xùn)練過程:
ChatGPT多數(shù)令人驚艷的行為,如響應(yīng)人類指令,利用思維鏈進(jìn)行復(fù)雜推理等都是RLHF的產(chǎn)物 。
參考:How does GPT Obtain its Ability? Tracing Emergent Abilities of Language Models to their Sources
ChatGPT的成功,在技術(shù)上可以給我們帶來幾點(diǎn)啟示:
- 細(xì)致的數(shù)據(jù)工程是模型成功必不可少的工作;
- 監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)是矯正模型生成內(nèi)容的關(guān)鍵技術(shù)。
AIGC與華為云
目前,AIGC的市場(chǎng)結(jié)構(gòu)可以粗略的劃分如下:
AIGC與云聯(lián)系緊密,AIGC應(yīng)用依托于大模型的能力構(gòu)建,而大模型的開發(fā)與運(yùn)行都依賴云側(cè)充足的算力。以ChatGPT為例,根據(jù)OpenAI報(bào)告, ChatGPT是在InstructGPT 基礎(chǔ)上微調(diào)而來,參數(shù)量約13億,因此預(yù)計(jì)ChatGPT訓(xùn)練所需算力為27.5PFlop/s-day,如果用NVIDIA V100訓(xùn)練需要220天??梢?,AIGC應(yīng)用浪潮對(duì)算力的需求是前所未有的,這將迅速拉動(dòng)云計(jì)算需求。知名投資機(jī)構(gòu)a16z在報(bào)告中闡述,幾乎所有的AIGC相關(guān)應(yīng)用都或多或少依賴云端的算力,因此a16z預(yù)測(cè)AIGC市場(chǎng)的大量資金最終流向了基礎(chǔ)設(shè)施公司,平均來說,AIGC應(yīng)用開發(fā)公司將大約20-40% 的收入用于模型推理與微調(diào),而這部分通常直接支付給算力提供的云廠商。
算力作為AIGC的重要支撐,是影響AIGC發(fā)展的核心要素;除此之外,構(gòu)筑在算力底座上的AI平臺(tái),又能直接影響AIGC應(yīng)用的開發(fā)和運(yùn)行效率。華為云擁有全棧全場(chǎng)景的AI能力,基于鯤鵬、昇騰的算力底座,提供了穩(wěn)定高效的AI開發(fā)平臺(tái)ModelArts,從數(shù)據(jù)處理到模型訓(xùn)練、模型推理,可以大幅提升AI開發(fā)效率。
此外,在ModelArts的資產(chǎn)社區(qū)AI Gallery中,也有很多AIGC相關(guān)的低門檻案例,如一鍵運(yùn)行的AI作畫案例,已有18,000+的累計(jì)運(yùn)行:
如果對(duì)AIGC感興趣可以到AI Gallery體驗(yàn)相關(guān)案例。
挑戰(zhàn)及展望
隨著AIGC的快速發(fā)展,一些問題也逐漸浮現(xiàn)。在技術(shù)上,目前語言模型是基于統(tǒng)計(jì)的,這一機(jī)制導(dǎo)致回答偏差的存在,進(jìn)而導(dǎo)致虛假信息傳播的法律風(fēng)險(xiǎn);數(shù)理領(lǐng)域中的生成內(nèi)容錯(cuò)誤較多,無法應(yīng)用到銀行、醫(yī)院等專業(yè)性強(qiáng)的領(lǐng)域;模型仍不可解釋與不可控,可能存在后門攻擊、數(shù)據(jù)中毒、訓(xùn)練數(shù)據(jù)泄露等問題。在安全合規(guī)上,AIGC模型在訓(xùn)練過程中的數(shù)據(jù)使用合規(guī)問題、生成內(nèi)容的知識(shí)產(chǎn)權(quán)問題,甚至是訓(xùn)練推理過程中帶來的碳排放問題等,仍然存在很多挑戰(zhàn)。
身處人工智能的下一個(gè)時(shí)代,我們不僅要擁抱變化,也要直視挑戰(zhàn)。在技術(shù)方面,如何理解大模型的基本工作機(jī)制對(duì)模型安全與繼續(xù)發(fā)展至關(guān)重要;除此之外,大模型訓(xùn)練與遷移流程優(yōu)化是AI走向通用人工智能的關(guān)鍵。在技術(shù)發(fā)展的同時(shí),AIGC的合規(guī)與治理應(yīng)該引起重視。相信在不久的未來,AIGC將在更多領(lǐng)域大放異彩,也將開啟云計(jì)算產(chǎn)業(yè)鏈新一輪的景氣周期。
?文章來源:http://www.zghlxwxcb.cn/news/detail-438027.html
點(diǎn)擊關(guān)注,第一時(shí)間了解華為云新鮮技術(shù)~文章來源地址http://www.zghlxwxcb.cn/news/detail-438027.html
到了這里,關(guān)于探討AIGC的崛起歷程,淺析其背后技術(shù)發(fā)展的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!