? ? 還是培訓(xùn)資料中的內(nèi)容，重讀一遍。
? ??列舉內(nèi)容，嘗試理解的多那么一點點。

1. 生成式AI

• 生成式AI定義
  
  - Generative AI, GenAI
  - 一種人工智能技術(shù)
  - 對已經(jīng)數(shù)據(jù)分類、預(yù)測
  -?生成新的內(nèi)容，包括文本、圖像、音頻、視頻
  - 由大量數(shù)據(jù)語料庫預(yù)訓(xùn)練大模型提供動力（基礎(chǔ)模型，F(xiàn)oundation Model, FM）
  - 通過深度學習模型實現(xiàn)
  
  參考：
  生成式AI的歷史和發(fā)展（關(guān)鍵技術(shù)） - 知乎
  人工智能發(fā)展史(上) - 知乎
  人工智能發(fā)展史(下) - 知乎
• 生成式AI相關(guān)
  
  - 人工智能，AI，允許計算機使用邏輯、if-then語句以及機器學習來模仿人類智能的技術(shù)
  - 機器學習，ML，人工智能的子集，利用機器搜索數(shù)據(jù)中的模式來自動建立邏輯模型
  - 深度學習，DL，由深度多層神經(jīng)網(wǎng)絡(luò)組成的機器學習的子集，執(zhí)行語音和圖像識別任務(wù)
  - 生成式人工智能
• 生成式AI模型活動
  
  - 未標記數(shù)據(jù) -> 預(yù)訓(xùn)練 -> 基礎(chǔ)模型 -> 適配?-> 常規(guī)任務(wù)：文本生成、文字摘要、信息提取、圖像生成、聊天機器人、問題回復(fù)答?
  - 預(yù)訓(xùn)練
  - 模型微調(diào)
  - 提示詞工程
• 生成式AI基礎(chǔ)模型 -- 陌生領(lǐng)域。。。后續(xù)補充
  
  - GPT，generative pre-trained transformer，生成式預(yù)訓(xùn)練transformer，基于transformer的生成式語言模型，可以生成逼真的文本
  - GAN，generative adversarial network，生成式對抗網(wǎng)絡(luò)，包含了生成器和判斷器的對抗網(wǎng)絡(luò)，可以生成逼真的圖像
  - VAE，variatonal autoencoder，變分自動編碼器，基于概率編碼的生成模型，可以學習數(shù)據(jù)的潛在分布，并從中采樣生成新數(shù)據(jù)，在無監(jiān)督學習中廣泛應(yīng)用
  - 自動編碼器，autoencoder，無監(jiān)督神經(jīng)網(wǎng)絡(luò)，通過學習如何有效壓縮和解壓數(shù)據(jù)來得到數(shù)據(jù)的潛在表示，用于生成圖像、文本
  - WaveNet，生成原始音頻波形的神經(jīng)網(wǎng)絡(luò)，生成人類語言
  - DALL-E，openAI研發(fā)的一種基于GPT和CLIP的圖像生成模型
  - AlphaFold，deepMind開發(fā)的蛋白質(zhì)結(jié)構(gòu)預(yù)測生成模型
  - 多模態(tài)模型
• 生成式AI特點
  
  - 基礎(chǔ)模型包含大量參數(shù)，能夠掌握復(fù)雜規(guī)律
  - 具有超強的泛化能力，在文泛的上下文中運用知識
  - 支持自定義，使用企業(yè)內(nèi)部數(shù)據(jù)，執(zhí)行特定域的功能
  - 具有一定創(chuàng)造力
  
  因此生成式AI
  - 體驗，創(chuàng)造產(chǎn)品與客戶互動的全新、吸引人的、創(chuàng)新方式
  - 效率，從根本上提高業(yè)務(wù)效率
  - 總結(jié)，從企業(yè)信息中提取見解和答案，快速做出決策
  - 創(chuàng)新，經(jīng)由訓(xùn)練和提示，創(chuàng)作新內(nèi)容和新想法
• 生成式AI參與者
  
  - LLM，Large Language Model，大型語言模型，具有數(shù)十億參數(shù) (B+) 的預(yù)訓(xùn)練語言模型 (GPT-3, Bloom, LLaMa, GLM)；用于各種自然語言處理任務(wù),如文 本生成、機器翻譯和自然語言理解等。
  -?P. Model Provider，從零開始預(yù)訓(xùn)練大型模型 (FM, LLM)，供下游使用。專注于訓(xùn)練具有超過上億級別參數(shù)的Transformer和 Diffusion模型，如 (GPT 類,Stable Diffusion, Bloom, XLNet, LLaMa, OPT, GLM, etc.)
  - T. Model Tuner，從Model Providers 購買預(yù)訓(xùn)練模型或者使用開源模型 (LLM, FM) 并進行個性化定制 (Fine-Tune)，結(jié)合特定行業(yè)或者細化市場為最終用戶構(gòu)建產(chǎn)品和解決方案，通常是 SaaS 類服務(wù)
  -?C. Model Consumer，直接使用預(yù)訓(xùn)練的模型 (LLM, FM, Fine-Tune model) 提升 Application 的使用體驗,提升業(yè)務(wù)價值。不對模型本身進行訓(xùn)練和定制，而是選擇現(xiàn)成的AI產(chǎn)品或者模型。
• LLM，大語言模型 -- 陌生領(lǐng)域。。。后續(xù)補充

2. 生成式AI核心

• Transformer
  
  - 轉(zhuǎn)換器
  - 一種神經(jīng)網(wǎng)絡(luò)架構(gòu)
  -?用于機器翻譯等自然語言處理任務(wù)
  -?設(shè)計之初用來解決機器翻譯問題
  - 由一個輸入序列轉(zhuǎn)換成一個輸出序列
  -?理論上能夠接受任意長度的句子輸入
• Attention
  
  - 專注機制
  -?計算權(quán)重
  - Transformer架構(gòu)中的核心組件
  - 生成階段，讓模型能夠關(guān)注到輸入序列中最相關(guān)的部分
  - 對token在上下文中的語義做編碼，分別計算每個token對句子中的其他token的權(quán)重表示
  -?Self-Attention ???
  - Encoder-Decoder Atttention ???

3. 生成式AI存在的問題

• 生成式AI產(chǎn)生的內(nèi)容引發(fā)的 著作權(quán) 和 知識產(chǎn)權(quán)問題
• 安全問題
  
  - 提示詞注入 ???
  - 數(shù)據(jù)泄露
  - 不完善的沙盒隔離
  - 非授權(quán)代碼執(zhí)行
  - SSRF漏洞 ???
  - 過度依賴LLM生成內(nèi)容
  - 未充分對齊????
  - 訪問控制不足
  - 錯誤處置不當
  - 訓(xùn)練數(shù)據(jù)投毒
• 數(shù)據(jù)操縱
  
  - 惡意用戶深度通過操作數(shù)據(jù)輸入，干擾AI模型的輸出
  ? * 通過數(shù)據(jù)驗證，確保輸入數(shù)據(jù)的完整性和真實性
  ? * 用戶身份驗證，防止惡意用戶干擾
  - 生成式AI輸出可信度不足
  ? * 輸出驗證，評估生成內(nèi)容可信度
  ? * 用戶反饋，改進輸出質(zhì)量
• 惡意使用
  
  - 提示注入，誤導(dǎo) -> 對提示方法、敏感詞進行過濾
  - 提示泄露，挖坑、誘導(dǎo)性提示，導(dǎo)至敏感、安全信息泄露
  - 越獄 ???，利用漏洞，非法訪問

4.?遺留問題文章來源地址http://www.zghlxwxcb.cn/news/detail-816623.html

• LSTM
• Word Embedding
• Self-Attention ???
• Encoder-Decoder Atttention ???
• 生成式AI模型分類
• 生成式AI帶來的安全問題

到了這里，關(guān)于AIGC（生成式AI）試用 17 -- 續(xù)2，生成式AI是什么的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！