??日?qǐng)?bào)&周刊合集 | ??生產(chǎn)力工具與行業(yè)應(yīng)用大全 | ?? 點(diǎn)贊關(guān)注評(píng)論拜托啦！

?? 支付寶 X 堆友 | 新春音浪 AIGC 賀歲MV大賽，獎(jiǎng)金池很有誠意啊！

https://d.design/competition/alipay-spring

補(bǔ)充一份背景：堆友 (D.Design) 是阿里巴巴推出的一個(gè)新的在線設(shè)計(jì)平臺(tái)

支付寶和堆友聯(lián)合推出了一場(chǎng) AIGC 視頻創(chuàng)作比賽，邀請(qǐng)創(chuàng)作者使用AI工具創(chuàng)作賀歲 MV，并提供了豐厚的獎(jiǎng)金池 (*￣3￣)╭ 而且不限工具、不限風(fēng)格、時(shí)間充裕！感覺有時(shí)間可以玩一玩~

比賽分為「大眾組」和「學(xué)生組」，設(shè)置了近百個(gè)獲獎(jiǎng)名額、總共23萬元的獎(jiǎng)金池！堆友的比賽一直主打獎(jiǎng)品豐厚！每次都超心動(dòng)啊~ ? 了解更多

征集時(shí)間：1月8日-2月18日

視頻時(shí)長：建議30秒以上

創(chuàng)作要求：可以使用 Stable Diffusion、Midjourney 等任意AI工具生成圖片或視頻，允許使用PS、剪映等工具進(jìn)行編輯；提供創(chuàng)作說明、Prompt、創(chuàng)作過程等可作為評(píng)審加權(quán)參考

?? Runway GEN:48 | 第二屆48小時(shí)AI短片創(chuàng)作比賽，開放報(bào)名啦！

https://gen48.runwayml.com

補(bǔ)充一份背景：Runway 是一款強(qiáng)大的、基于AI的圖片&視頻編輯工具；GEN:48 是 Runway 舉辦的一個(gè)AI短片創(chuàng)作挑戰(zhàn)比賽，今年已經(jīng)是第二次舉辦
Runway GEN:48 全稱是 Runway GEN 48 Hour Short Film Competition，是一場(chǎng)面向全球的線上創(chuàng)作比賽。比賽主題和創(chuàng)作要求在開賽時(shí)宣布，屆時(shí)參賽者需要在48小時(shí)內(nèi)構(gòu)思并創(chuàng)作一部 1~4 分鐘的電影短片。

參賽時(shí)間：2月3日-2月5日

每隊(duì)人數(shù)：1-3 人

參賽激勵(lì)：參賽團(tuán)隊(duì)可得到 30萬 Runway 生成積分用于比賽創(chuàng)作

獲獎(jiǎng)作品：5000 美元，100萬 Runway 生成積分，Epidemic Sound 一年會(huì)員，作品在 NYC 和 LA 的AI電影節(jié)上放映

?? 重要投資 | a16z 向 Quora 投資 7500 萬美元，Poe 估值達(dá)到5億美元

https://quorablog.quora.com/New-Funding-from-Andreessen-Horowitz

補(bǔ)充一份背景：Quora 是全球知名的在線問答社區(qū)，類似于海外版「知乎」；Poe 是 Quora 推出的AI聊天機(jī)器人聚合平臺(tái)，幾個(gè)月前允許用戶創(chuàng)作 Bot 并可以盈利 (一定程度上類似 OpenAI GPTs)

2024年1月10日，Quora CEO @Adam D’Angelo 宣布，Quora 從 a16z 獲得了新一輪 7500 萬美元的融資，用以加速 Poe 平臺(tái)的增長。Adam D’Angelo 專門提到，本次融資后的大部分資金將用于獎(jiǎng)勵(lì) Poe 平臺(tái)的 Bot 創(chuàng)作者，幫助個(gè)人開發(fā)者和開發(fā)團(tuán)隊(duì)在 Poe 平臺(tái)實(shí)現(xiàn)盈利，并借此將AI推廣向更廣泛的人群。

在 Adam D’Angelo 看來，AI 時(shí)代的 Poe 定位類似于互聯(lián)網(wǎng)早期的瀏覽器，需要完成兩個(gè)目標(biāo)：成為消費(fèi)者與各種AI產(chǎn)品交流的最佳方式 & 成為開發(fā)者構(gòu)建AI聊天產(chǎn)品并觸達(dá)大眾的最簡(jiǎn)單的方式。

公告披露了一些基礎(chǔ)數(shù)據(jù)，例如Poe 總用戶 (付費(fèi)用戶+免費(fèi)用戶) 已超百萬，創(chuàng)建的 Bot 已經(jīng)有數(shù)百萬個(gè)；Quora 月活超4億且有著健康的現(xiàn)金流，公司將同時(shí)運(yùn)營 Quora 和 Poe 兩個(gè)產(chǎn)品

https://a16z.com/announcement/investing-in-quora-and-poe/

a16z 在其官方網(wǎng)站發(fā)文確認(rèn)了這一信息，并給出了詳細(xì)的投資理由。日?qǐng)?bào)將其總結(jié)為以下5個(gè)方面，可以看出投資人非常專業(yè)且務(wù)實(shí)，而且給同類型內(nèi)容平臺(tái)指出了發(fā)展方向：

1. 市場(chǎng)潛力：盡管AI模型和工具的發(fā)展迅速，但普通消費(fèi)者對(duì)AI的接觸仍然有限；Poe 可以幫助全球5億+互聯(lián)網(wǎng)用戶更容易地訪問和使用AI

2. 聚合多個(gè)大模型：Poe 聚合了全球領(lǐng)先的多個(gè)大模型，包括 OpenAI GPT 系列、Anthropic Claude系列、Google Gemini / PaLM、Meta Llama 2、StableDiffusionXL、Mistral 等等，更符合用戶的多模型需求場(chǎng)景

3. 創(chuàng)建并使用 Bot：創(chuàng)作者可以使用現(xiàn)有模型構(gòu)建 Bot 并從中獲益，用戶可以發(fā)現(xiàn) AI Bot 并自定義工具集，雙方可以形成網(wǎng)絡(luò)效應(yīng)

4. Quora 社區(qū)優(yōu)勢(shì)：Quora 社區(qū)有著超過4億優(yōu)質(zhì)用戶并沉淀了大量專業(yè)知識(shí)，并且為 AI Bot 提供了一個(gè)獨(dú)特且大流量的分發(fā)渠道

5. 團(tuán)隊(duì)&發(fā)展速度：Poe 團(tuán)隊(duì)在短時(shí)間內(nèi)實(shí)現(xiàn)了快速發(fā)展，包括支持了多種語言、開發(fā)了PDF摘要等功能、實(shí)現(xiàn)了創(chuàng)作者盈利、推出了 iOS、Android 和 Windows 版本應(yīng)用等

?? 收藏清單 | AI工程師都應(yīng)了解的生成式AI框架和工具

https://levelup.gitconnected.com/gen-ai-frameworks-and-tools-every-ai-ml-engineer-should-know-1f0ce36f1452

生成式人工智能 (Generative AI) 常用的框架和工具有哪些？看看這篇文章的總結(jié)??！AI工程師的效率寶藏大起底，快快加入自己的工具清單~

1. LangChain

• 用途：開源平臺(tái)，用于構(gòu)建基于大語言模型 (LLM) 的應(yīng)用程序，例如 ChatGPT 聊天機(jī)器人

• 功能：提供了一套全面的套件，可以在不同用例中使用大語言模型，例如聊天機(jī)器人、自動(dòng)問答、文本摘要等

• 工作流程：括將大量數(shù)據(jù)分解成小塊，嵌入向量并存儲(chǔ)在向量數(shù)據(jù)庫中；用戶輸入提示后，LangChain 使用大語言模型檢索相關(guān)信息并生成回答

2. SingleStore Notebooks

• 基于Jupyter Notebook的工具，專為 SingleStore 分布式 SQL 數(shù)據(jù)庫而設(shè)計(jì)

• 特點(diǎn)：提供了原生的 SingleStore SQL支持，支持 SQL 和 Python 的互操作性，支持協(xié)作工作流程，提供了交互式數(shù)據(jù)可視化支持，對(duì)于新手易用

• 用途：數(shù)據(jù)探索和分析，特別是與 SingleStore 數(shù)據(jù)庫一起使用

3. LlamaIndex

• 用途：高級(jí)編排框架，增強(qiáng)大語言模型的能力，允許它們與私有或特定領(lǐng)域的數(shù)據(jù)源交互

• 功能：提供了一種結(jié)構(gòu)化的方式來攝取、組織和利用各種數(shù)據(jù)源，包括 APIs、數(shù)據(jù)庫和 PDFs

• 工作流程：通過將數(shù)據(jù)索引為大語言模型優(yōu)化的格式，LlamaIndex 使得用戶能夠通過自然語言查詢與他們的私有數(shù)據(jù)無縫對(duì)話

4. Meta Llama 2

• 背景：使用公開在線數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，其中包括書籍、文章、其他書面內(nèi)容等大量語料庫

• 用途：用于聊天機(jī)器人的集成，提供了細(xì)致且連貫的對(duì)話響應(yīng)

• 特點(diǎn)：通過 RLHF 進(jìn)行監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)，包括拒絕采樣和近端策略優(yōu)化 (PPO) ，提升了規(guī)模、效率和性能，，適用于不同的計(jì)算能力和應(yīng)用場(chǎng)景

5. Hugging Face

• 平臺(tái)：提供了模型中心、數(shù)據(jù)集、模型訓(xùn)練、微調(diào)工具、應(yīng)用構(gòu)建、社區(qū)和協(xié)作等功能

• 功能：擁有大量預(yù)訓(xùn)練模型，覆蓋了文本分類、問答、翻譯和文本生成等多種 NLP 任務(wù)

• 用途：提供了豐富的數(shù)據(jù)集資源，支持模型的訓(xùn)練和微調(diào)；與 TensorFlow 和 PyTorch 等流行編程庫無縫集成，便于開發(fā)AI應(yīng)用

6. Haystack

• 類別：端到端框架，用于構(gòu)建基于 NLP 技術(shù)的應(yīng)用，包括但不限于生成式AI

• 功能：支持檢索增強(qiáng)生成 (RAG) 、提供一套全面的 NLP 工具和組件、靈活&可擴(kuò)展

• 用途：結(jié)合檢索&生成方法進(jìn)行搜索和內(nèi)容創(chuàng)建，提供全面的 NLP 工具和組件，并且能與流行的生成式AI模型進(jìn)行集成

?? 播客推薦 | 42章經(jīng)：24/25 年是下一代浪潮最關(guān)鍵的兩年

https://www.xiaoyuzhoufm.com/episode/65a2a75fb5e4856c70801eba

補(bǔ)充一份背景：42章經(jīng)的播客品質(zhì)都非常高！尤其關(guān)于AI的幾期播客，頻繁出現(xiàn)在我們的播放、收藏和推薦清單里 ??

這期播客是 42章經(jīng) 創(chuàng)始人 @曲凱 的個(gè)人年終總結(jié)。2023年，他聊過了市場(chǎng)上大部分的 AI 創(chuàng)始人和幾乎所有的 AI 投資人，服務(wù)了十多家 AI 公司的融資并且參與了其中四家的投資，視角可謂一線且全面。

在這期播客中，他毫無保留地分享了對(duì)于 23 年 AI 市場(chǎng)的總結(jié)觀察，以及對(duì) 24 年及之后市場(chǎng)變化趨勢(shì)的判斷。他的一個(gè)核心觀點(diǎn)是： 24年和25 年就是我們這代人最關(guān)鍵的兩年的機(jī)會(huì)。

這期播客評(píng)論區(qū)，有大量?jī)?yōu)質(zhì)留言&曲凱的互動(dòng)，推薦推薦！這個(gè)時(shí)代有大量的優(yōu)秀團(tuán)隊(duì)在瞄著AI賽道呀~ [摩拳擦掌??]

0:20 24、25 年會(huì)是下一代浪潮最關(guān)鍵的兩年

7:51 當(dāng)下市場(chǎng)的核心問題：AI 并不能被稱為一個(gè)「賽道」

9:16 創(chuàng)業(yè)者要解決的核心問題從「如何講故事拿融資」變成了「如何靠自己賺錢做收入利潤」

11:18 解決大模型可控性差的三條路徑

14:29 技術(shù)不成熟的階段，反而更需要好的產(chǎn)品經(jīng)理

16:22 2024 會(huì)不會(huì)是 AI 時(shí)代的 2010 (移動(dòng)互聯(lián)網(wǎng)元年)？

18:36 一個(gè)判斷：24 年會(huì)出現(xiàn)大規(guī)模落地的產(chǎn)品，25 年 AI 會(huì)迎來爆發(fā)

19:11 當(dāng)下一定要接受的兩個(gè)設(shè)定

24:00 一些未來的方向和機(jī)會(huì)

37:45 2024 年我們判斷公司和選擇項(xiàng)目的標(biāo)準(zhǔn)

?? 精華整理匯總

歷史上沒有哪個(gè)賽道能夠像這波AI一樣，迅速建立極大的共識(shí)，但又同時(shí)存在非常大的非共識(shí)。共識(shí)是AI是個(gè)非常顛覆性創(chuàng)新的大機(jī)會(huì)，非共識(shí)則是 AI 到底會(huì)在什么時(shí)候以哪種方式落地

2023年是對(duì)大多創(chuàng)業(yè)者非常不友好的一年：市場(chǎng)還早，變化很快，投資團(tuán)隊(duì)最終選擇投資「人」而不是AI。最后拿錢的團(tuán)隊(duì)很多不是靠著邏輯、故事、產(chǎn)品或數(shù)據(jù)，反而是靠著創(chuàng)始人背景融資

為什么2023年沒有AI產(chǎn)品能夠落地呢？關(guān)鍵還是大模型的可控性差。解決大模型可控性差有三條路徑：

1. 交付結(jié)果。典型公司是 Fancytech。在自己體系內(nèi)部用 AI 和人工結(jié)合的方式來操作，不讓客戶直接和產(chǎn)品發(fā)生交互

2. 區(qū)分生產(chǎn)端和消費(fèi)端。典型公司是 S2B2C 類企業(yè)。讓 AI 只和生產(chǎn)環(huán)節(jié)發(fā)生關(guān)系，不和消費(fèi)環(huán)節(jié)發(fā)生關(guān)系

3. 收斂場(chǎng)景、有限使用。典型公司是妙鴨。AI 產(chǎn)品落地要么選擇一些已經(jīng)可控性比較高的場(chǎng)景，要么就是讓 AI 和其他各種現(xiàn)有的技術(shù)配合

當(dāng)下需要要接受的兩個(gè)設(shè)定：

1. 市場(chǎng)還早，大模型能力未達(dá)標(biāo)，現(xiàn)在能落地能賺錢的公司大多是套殼的、擦邊的、蹭的，真信 AGI，真想做 AI 的大多都在痛苦掙扎

2. 目前市場(chǎng)上所有的產(chǎn)品都將成為先烈和炮灰。大部分產(chǎn)品會(huì)隨著時(shí)間發(fā)展而淘汰，小部分產(chǎn)品會(huì)逐漸升級(jí)迭代成完全不同的邏輯 (不過這些迭代，大概率會(huì)發(fā)生在已有的公司和團(tuán)隊(duì)內(nèi)部)

新一代創(chuàng)業(yè)者要充分認(rèn)識(shí)，市場(chǎng)核心矛盾是如何把產(chǎn)品做到落地賺錢，在一兩年里能把公司體量和組織結(jié)構(gòu)養(yǎng)起來，然后隨著技術(shù)的成熟而不斷迭代產(chǎn)品和市場(chǎng)

一些未來的方向和機(jī)會(huì)：

1. 所有的現(xiàn)存外包場(chǎng)景都有機(jī)會(huì)用AI的方式和組織結(jié)構(gòu)重做一遍，并擴(kuò)大 N 倍

2. 大多的雙邊平臺(tái)都有機(jī)會(huì)被 AI改造，非標(biāo)服務(wù)可被 AI 標(biāo)準(zhǔn)化，生成式內(nèi)容可把雙邊平臺(tái)變成單邊即可成立并快速起量

3. 大多的復(fù)雜產(chǎn)品和交互形態(tài)都有機(jī)會(huì)被 AI Agent 簡(jiǎn)化成聊天類產(chǎn)品交付，大幅降低使用門檻

4. 內(nèi)容生成即渠道，解構(gòu)渠道，未來 AI 時(shí)代內(nèi)容生產(chǎn)和消費(fèi)形式將發(fā)生顛覆性的變化 ? 文字版原文

?? RAG 要點(diǎn)速查 | 一圖掌握 RAG「從基礎(chǔ)到進(jìn)階」完整內(nèi)容

https://d3ddy8balm3goa.cloudfront.net/llamaindex/rag-cheat-sheet-final.svg

補(bǔ)充一份背景：RAG (Retrieval-Augmented Generation，檢索增強(qiáng)生成) ，從外部知識(shí)數(shù)據(jù)庫檢索文檔 (Retrieval component) 并將這些文檔與用戶的查詢一起傳遞給大語言模型 (LLM) 以生成響應(yīng) (Generation component)

這份速查表介紹了 RAG 的作用、RAG 基礎(chǔ)用法、RAG 高級(jí)用法 這三部分的要點(diǎn)內(nèi)容。日?qǐng)?bào)將主要內(nèi)容整理成中文，?? 上方鏈接可下載 svg 高清文件~

?? Motivation

大語言模型 (LLM) 生成的答案可能不準(zhǔn)確，因?yàn)?/p>

• LLM 可能會(huì)產(chǎn)生幻覺 (hallucinations)

• 相關(guān)信息可能超出了 LLM 訓(xùn)練語料庫的范圍

• LLM 無法訪問最新的信息

?? Basic RAG

Basic RAG 部分提到的能力和技術(shù)，是構(gòu)建一個(gè)有效 RAG 系統(tǒng)的基礎(chǔ)，可以提高系統(tǒng)在理解和回答問題時(shí)的準(zhǔn)確性和相關(guān)性。

關(guān)鍵能力 (Key Abilities)

• 噪聲魯棒性 (Noise Robustness)：系統(tǒng)需要能夠處理和過濾掉噪聲數(shù)據(jù)，確保生成的信息質(zhì)量

• 負(fù)拒絕 (Negative Rejection)：系統(tǒng)應(yīng)該能夠識(shí)別并拒絕不相關(guān)或錯(cuò)誤的信息

• 信息整合 (Information Integration)：系統(tǒng)需要能夠整合來自不同來源的信息，以提供全面的答案

• 反事實(shí)魯棒性 (Counterfactual Robustness)：系統(tǒng)需要能夠處理與訓(xùn)練數(shù)據(jù)分布不同的情境，即能夠?qū)Ψ词聦?shí)情況進(jìn)行推理

質(zhì)量評(píng)分標(biāo)準(zhǔn) (Quality Scores)

• 上下文相關(guān)性 (Context Relevance)：生成的答案需要與用戶問題的上下文緊密相關(guān)

• 答案相關(guān)性 (Answer Relevance)：生成的答案應(yīng)該直接回答用戶的問題

• 忠實(shí)性 (Faithfulness)：系統(tǒng)提供的答案應(yīng)該忠實(shí)于檢索到的信息，避免產(chǎn)生幻覺 (hallucinations)

?? Advanced RAG

Advanced RAG 提到的能力與技術(shù)，可以提升RAG 系統(tǒng)在處理復(fù)雜問題和數(shù)據(jù)時(shí)的性能，確保檢索和生成過程能夠相互協(xié)作，提供更準(zhǔn)確和相關(guān)的信息。

RAG成功的要求

• 檢索：必須能夠找到與用戶查詢最相關(guān)的文檔

• 生成：必須能夠有效利用檢索到的文檔來充分回答用戶查詢

高級(jí)檢索技術(shù)

• 塊大小優(yōu)化 (Chunk-size optimization)：調(diào)整檢索時(shí)使用的文檔塊大小，以提高檢索效率和相關(guān)性

• 滑動(dòng)窗口分塊 (Sliding window chunking)：使用滑動(dòng)窗口技術(shù)來分塊文檔，以便更靈活地處理文檔內(nèi)容

• 知識(shí)圖譜 (Knowledge Graphs)：使用知識(shí)圖譜來增強(qiáng)檢索過程，提供更豐富的上下文信息

• 嵌入微調(diào) (Embedding Fine-Tuning)：對(duì)嵌入向量進(jìn)行微調(diào)，以更好地匹配檢索任務(wù)的需求

• 結(jié)構(gòu)化知識(shí) (Structured knowledge)：整合結(jié)構(gòu)化的知識(shí)信息，如實(shí)體和關(guān)系，以提高檢索的相關(guān)性

• 元數(shù)據(jù)附加 (Metadata Attachments)：將元數(shù)據(jù)附加到文檔上，以提供額外的上下文信息

• 混合檢索 (Mixed Retrieval)：結(jié)合不同類型和來源的檢索結(jié)果

• 問題嵌入轉(zhuǎn)換 (Question-Embedding Transformation)：對(duì)用戶問題進(jìn)行嵌入轉(zhuǎn)換，以更好地與檢索文檔匹配

高級(jí)生成技術(shù)

• 信息壓縮 (Information Compression)：壓縮檢索到的信息，以便于后續(xù)的生成過程

• 生成器微調(diào) (Generator Fine-Tuning)：對(duì)生成器進(jìn)行微調(diào)，以生成更準(zhǔn)確和相關(guān)的答案

• 結(jié)果重排序 (Result Re-Rank)：對(duì)檢索結(jié)果進(jìn)行重排序，以優(yōu)化最終輸出的順序

• 適配器方法 (Adapter Methods)：使用適配器來調(diào)整模型以適應(yīng)特定的任務(wù)或數(shù)據(jù)

同時(shí)解決檢索和生成成功要求的技術(shù)

• 整體微調(diào) (Monolithic Fine-Tuning)：對(duì)整個(gè)系統(tǒng)進(jìn)行微調(diào)，以提高整體性能

• 生成器增強(qiáng)檢索 (Generator-Enhanced Retrieval)：通過生成器的輸出來增強(qiáng)檢索過程

• 檢索基礎(chǔ)模型 (Retrieval Foundational Models)：構(gòu)建強(qiáng)大的基礎(chǔ)檢索模型

• 迭代檢索-生成 (Iterative Retrieval-Generation)：采用迭代的方法，結(jié)合檢索和生成過程，以逐步改進(jìn)答案的質(zhì)量

https://blog.llamaindex.ai/a-cheat-sheet-and-some-recipes-for-building-advanced-rag-803a9d94c41b

這篇文章是上方速查表的拓展介紹長文，不僅詳細(xì)介紹了關(guān)鍵組件的具體功能，而且附上了關(guān)鍵代碼，搭配食用可以更好地掌握 RAG 知識(shí)和實(shí)踐~

?? DeepSeekMoE | 國內(nèi)首個(gè) MoE 開源大模型，技術(shù)報(bào)告&模型權(quán)重同時(shí)發(fā)布

模型下載 https://huggingface.co/deepseek-ai

微調(diào)代碼 https://github.com/deepseek-ai/DeepSeek-MoE

技術(shù)報(bào)告 https://github.com/deepseek-ai/DeepSeek-MoE/blob/main/DeepSeekMoE.pdf

補(bǔ)充一份背景：MoE (Mixture-of-Experts，混合專家架構(gòu)) 上次引起廣泛關(guān)注是 Mistral AI 發(fā)布的 Mixtral-8x7B 大語言模型，這種架構(gòu)的核心思想是將一個(gè)大神經(jīng)網(wǎng)絡(luò)分解為多個(gè)小神經(jīng)網(wǎng)絡(luò)，每個(gè)小網(wǎng)絡(luò)負(fù)責(zé)處理不同部分從而提高靈活性和效率

DeepSeek 率先開源了國內(nèi)首個(gè)MoE大模型 DeepSeekMoE，全新架構(gòu)，支持中英，免費(fèi)商用。自研的全新MoE架構(gòu)，多尺度（2B->16B->145B）模型效果均領(lǐng)先：

• DeepSeekMoE 2B 可接近 MoE 模型的理論上限 2B Dense 模型性能（即相同Attention/FFN 參數(shù)配比的 2B Dense模型），僅用了 17.5% 計(jì)算量

• DeepSeekMoE 16B 性能比肩 LLaMA2 7B 的同時(shí)，僅用了 40% 計(jì)算量，也是本次主力開源模型，40G 顯存可單卡部署

• DeepSeekMoE 145B 上的早期實(shí)驗(yàn)進(jìn)一步證明該MoE架構(gòu)明顯領(lǐng)先于Google的MoE架構(gòu)GShard，僅用28.5%（甚至18.2%）計(jì)算量即可匹配 67B Dense 模型的性

DeepSeekMoE 在框架上做了兩大創(chuàng)新

• 細(xì)粒度專家劃分：不同于傳統(tǒng)MoE直接從與標(biāo)準(zhǔn)FFN大小相同的N個(gè)專家里選擇激活K個(gè)專家，我們把N個(gè)專家粒度劃分更細(xì)，在保證激活參數(shù)量不變的情況下，從mN個(gè)專家中選擇激活mK個(gè)專家，如此可以更加靈活地組合多個(gè)專家

• 共享專家分離：我們把激活專家區(qū)分為共享專家（Shared Expert）和獨(dú)立路由專家（Routed Expert），此舉有利于將共享和通用的知識(shí)壓縮進(jìn)公共參數(shù)，減少獨(dú)立路由專家參數(shù)之間的知識(shí)冗余 ? 閱讀原文

?? 新書追更 | 從頭開始構(gòu)建大語言模型，作者 Sebastian Raschka

https://www.manning.com/books/build-a-large-language-model-from-scratch

補(bǔ)充一份背景：這本書處于 MEAP (Manning Early Access Program) 預(yù)覽階段，共8章，目前更新的2章允許在線閱讀

根據(jù) ?? 上方預(yù)覽鏈接可以看出，這本書「Build A Large Language Model」可以帶你深入了解大語言模型的內(nèi)容工作原理，教你從頭創(chuàng)建、訓(xùn)練和調(diào)整大語言模型，一步步揭開 LLM 的神秘面紗~

跟隨著書籍內(nèi)容的展開，讀者可以按照業(yè)界標(biāo)準(zhǔn)步驟來訓(xùn)練和開發(fā)自己的小模型，甚至可以在自己的筆記本上完成開發(fā)和部署！ 還可以跟隨作者的腳步構(gòu)建各種使用的 LLM 應(yīng)用 ??

?? 上圖是作者整理的全書知識(shí)框架。日?qǐng)?bào)把書籍目錄整理如下，已經(jīng)發(fā)布的前2章有更細(xì)致的大綱，其他章節(jié)待更新 (主題很新&質(zhì)量不錯(cuò)，可追更哇 ??

1. 理解大語言模型

• 什么是LLM？

• LLM的應(yīng)用

• 構(gòu)建和使用LLM的階段

• 為不同任務(wù)使用LLM

• 利用大型數(shù)據(jù)集

• GPT架構(gòu)的深入觀察

• 構(gòu)建大語言模型

• 總結(jié)

• 參考文獻(xiàn)和進(jìn)一步閱讀

2. 處理文本數(shù)據(jù)

• 理解詞嵌入

• 文本分詞

• 將標(biāo)記轉(zhuǎn)換為標(biāo)記ID

• 添加特殊上下文標(biāo)記

• 字節(jié)對(duì)編碼

• 使用滑動(dòng)窗口進(jìn)行數(shù)據(jù)采樣

• 創(chuàng)建標(biāo)記嵌入

• 編碼詞位置

• 總結(jié)

• 參考文獻(xiàn)和進(jìn)一步閱讀

• 練習(xí)答案

3. 理解注意力機(jī)制

4. 從頭開始實(shí)現(xiàn)GPT模型以生成文本

5. 在未標(biāo)記數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練

6. 為文本分類進(jìn)行微調(diào)

7. 使用人類反饋進(jìn)行微調(diào)以遵循指令

8. 在實(shí)踐中使用大語言模型

https://github.com/rasbt/LLMs-from-scratch/tree/main

而且！作者還在 GitHub 開源了書籍配套的全部代碼！還在實(shí)時(shí)更新和維護(hù)中~ 這偉大的開源精神，值得一個(gè) Star?

感謝貢獻(xiàn)一手資訊、資料與使用體驗(yàn)的 ShowMeAI 社區(qū)同學(xué)們！

? 點(diǎn)擊 ??日?qǐng)?bào)&周刊合集，訂閱話題 #ShowMeAI日?qǐng)?bào)，一覽AI領(lǐng)域發(fā)展前沿，抓住最新發(fā)展機(jī)會(huì)！

? 點(diǎn)擊 ??生產(chǎn)力工具與行業(yè)應(yīng)用大全，一起在信息浪潮里撲騰起來吧！文章來源地址http://www.zghlxwxcb.cn/news/detail-813603.html

到了這里，關(guān)于24-25年是下一代浪潮最關(guān)鍵的兩年！GenAI框架與工具合集；RAG要點(diǎn)速查手冊(cè)；國內(nèi)首個(gè)MoE開源大模型；大語言模型新書追更 | ShowMeAI日?qǐng)?bào)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！