大型語言模型
大型語言模型是近年來機(jī)器學(xué)習(xí)和自然語言處理領(lǐng)域的一個(gè)重要發(fā)展趨勢。以GPT模型為例，闡述其發(fā)展
GPT系列基于Transformer架構(gòu)，進(jìn)行構(gòu)建，旨在理解和生成人類語言。它們通常通過在大量文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，學(xué)習(xí)到語言的各種模式和結(jié)構(gòu)，然后可以進(jìn)行微調(diào)，以適應(yīng)各種具體的任務(wù)，如文本分類、情感分析、問答系統(tǒng)等。這些模型在理解復(fù)雜的語義關(guān)系、處理長距離依賴等方面表現(xiàn)出了顯著的能力，推動了自然語言處理技術(shù)的發(fā)展。
GPT-1：發(fā)布于2018年，GPT-1是OpenAI的第一個(gè)使用Transformer架構(gòu)的語言模型，有1.17億的參數(shù)。它被訓(xùn)練用于生成流暢且連貫的語言，并在各種語言處理任務(wù)中表現(xiàn)出色，但在處理超出其訓(xùn)練數(shù)據(jù)范圍的提示或長篇文本時(shí)，可能會產(chǎn)生重復(fù)的文本。
GPT-2：發(fā)布于2019年，GPT-2有15億的參數(shù)，比GPT-1大得多。它在一些自然語言處理任務(wù)上有了明顯的改進(jìn)，能夠生成更連貫、真實(shí)的文本序列，但在處理需要更復(fù)雜推理和理解上下文的任務(wù)上還有所挑戰(zhàn)。
GPT-3：發(fā)布于2020年，GPT-3有1750億的參數(shù)，比GPT-1大了100多倍，比GPT-2大了10倍以上。GPT-3在一系列的自然語言處理任務(wù)上生成了復(fù)雜的響應(yīng)，甚至無需提供任何先前的示例數(shù)據(jù)。然而，GPT-3仍然存在一些問題，例如返回有偏見、不準(zhǔn)確或不適當(dāng)?shù)幕卮?，或者生成與提示完全無關(guān)的文本，表明該模型在理解上下文和背景知識方面仍然存在困難。文章來源：http://www.zghlxwxcb.cn/news/detail-664051.html
GPT-4：發(fā)布于2023年3月14日，GPT-4在GPT-3的基礎(chǔ)上有了顯著的提升。盡管模型的訓(xùn)練數(shù)據(jù)和架構(gòu)的具體細(xì)節(jié)尚未公布，但可以肯定的是，GPT-4在GPT-3的優(yōu)點(diǎn)上進(jìn)行了建設(shè)，并克服了其中的一些限制。文章來源地址http://www.zghlxwxcb.cn/news/detail-664051.html
國內(nèi)外大語言模型
大模型列表
| 序號 | 公司 | 大模型 | 省市 | 類別 | 官網(wǎng) | 說明 |
|---|---|---|---|---|---|---|
| 1 | 百度 | 文心一言,靈醫(yī)Bot | 北京 | 通用 | ? | 試用需賬號,有APP |
| 2 | 阿里云 | 通義千問,Qwen-7B | 浙江杭州 | 通用 | ? | 試用需賬號,開源通義千問7B模型Qwen-7B,Qwen-7B-Chat |
| 3 | 科大訊飛 | 星火 | 安徽合肥 | 通用 | ? | 試用需賬號,有APP |
| 4 | 達(dá)觀數(shù)據(jù) | 曹植 | 上海 | 金融、工業(yè) | ? | 試用需賬號 |
| 5 | 復(fù)旦大學(xué) | MOSS | 上海 | 科研 | ? | 試用需賬號 |
| 6 | 清華大學(xué) | ChatGLM,NowcastNet | 北京 | 科研 | ? | 開源6B，ChatGLM2-6B, 智譜AI,氣象,臨近預(yù)報(bào)大模型 |
| 7 | 華為 | 盤古,盤古氣象,盤古-Σ | 廣東深圳 | 工業(yè) | ? | 華為+鵬城,華為云盤古 |
| 8 | 智源人工智能研究院 | 悟道·天鷹,悟道·EMU | 北京 | 通用 | ? | 悟道3.0,視界視覺，AQUILA天鷹座，Aquila-7B,AquilaChat-7B,AquilaCode-7B-NV,AquilaCode-7B-TS,HuggingFace,EMU基于LLaMA |
| 9 | 浙江大學(xué) | 啟真,PromptProtein,TableGPT | 浙江杭州 | 垂直 | ? | 醫(yī)學(xué)大模型提供基于LLaMA-7B、CaMA-13B和ChatGLM-6B 三個(gè)版本,用于PromptProtein的模型 |
| 10 | 百川智能 | 百川,baichuan-7B,Baichuan-13B | 北京 | 通用 | ? | 模型下載：Baichuan-13B-Base,Baichuan-13B-Chat,Baichuan-7B,開源可商用 |
| 11 | 上海人工智能實(shí)驗(yàn)室 | 書生·浦語, OpenMEDLab浦醫(yī) | 上海 | 通用&垂直 | ? | 技術(shù)報(bào)告,開源的InternLM-7B,HuggingFace下載模型權(quán)重 |
| 12 | 貝殼 | BELLE | 北京 | 垂直 | ? | 基于BLOOMZ或LLaMA的多個(gè)模型 |
| 13 | 哈爾濱工業(yè)大學(xué) | 本草,活字 | 黑龍江哈爾濱 | 醫(yī)學(xué) | ? | 醫(yī)學(xué)，本草基于LLaMA；另有基于 ChatGLM 的Med-ChatGLM，活字基于BLOOM-7B |
| 14 | 云知聲 | 山海 | 北京 | 醫(yī)學(xué) | ? | |
| 15 | OpenBMB | CPM,CPM-Bee | 北京 | 通用 | ? | 面壁智能,CPM-Bee-10B |
| 16 | 港中文深圳 | 華佗，鳳凰 | 廣東深圳 | 醫(yī)學(xué) | ? | 香港中文大學(xué)（深圳）和深圳市大數(shù)據(jù)研究院，醫(yī)學(xué),Demo,華佗和鳳凰都基于BLOOMZ |
| 17 | 元象科技 | XVERSE-13B | 廣東深圳 | 通用 | ? | 模型下載 |
| 18 | 虎博科技 | TigerBot | 上海 | 金融 | ? | 基于BLOOM |
| 19 | 東北大學(xué) | TechGPT,PICA | 遼寧沈陽 | 科研 | ? | TechGPT->BELLE->LLaMA，圖譜構(gòu)建和閱讀理解問答;PICA->ChatGLM2-6B情感大模型 |
| 20 | 上海交通大學(xué) | K2,白玉蘭 | 上海 | K2:地球科學(xué)，白玉蘭:科學(xué) | ? | Demo，GeoLLaMA，基于LLaMA，HuggingFace |
| 21 | IDEA研究院 | 封神榜MindBot | 廣東深圳 | 通用 | ? | 姜子牙系列模型 |
| 22 | 度小滿 | 軒轅 | 北京 | 金融 | ? | 基于BLOOM |
| 23 | 360 | 智腦,一見 | 北京 | 通用 | ? | |
| 24 | 艾寫科技 | Anima | 浙江杭州 | 營銷 | ? | 基于Guanaco->基于LLaMA，使用QLoRA |
| 25 | 北京大學(xué)信息工程學(xué)院 | ChatLaw | 北京 | 法律 | ? | ChatLaw-13B基于Ziya-LLaMA-13B-v1->LLaMA,ChatLaw-33B基于Anima33B->Guanaco->LLaMA |
| 26 | 中國科學(xué)院自動化研究所 | 紫東·太初 | 北京 | 通用 | ? | 紫東太初2.0號稱100B參數(shù)，全模態(tài) |
| 27 | 中國科學(xué)院計(jì)算技術(shù)研究所 | 百聆 | 北京 | 科研 | ? | 基于 LLaMA，權(quán)重Diff下載7B和13B,demo |
| 28 | 中國科學(xué)院成都計(jì)算機(jī)應(yīng)用研究所 | 聚寶盆 | 四川成都 | 金融 | ? | 基于LLaMA的金融大模型 |
| 29 | 曉多科技+國家超算成都中心 | 曉模型XPT | 四川成都 | 客服 | ? | 試用申請 |
| 30 | 網(wǎng)易有道 | 子曰 | 北京 | 教育 | ? | 推薦有道速讀,讀論文的利器 |
| 31 | 北京語言大學(xué) | 桃李 | 北京 | 教育 | ? | 基于LLaMA,北語+清華+東北、北京交大 |
| 32 | 華南理工大學(xué) | 扁鵲,靈心SoulChat | 廣東廣州 | 醫(yī)學(xué) | ? | |
| 33 | 商湯科技 | 日日新 | 上海 | 通用 | ? | |
| 34 | 國家超級計(jì)算天津中心 | 天河天元 | 天津 | 通用 | ? | |
| 35 | 北京交通大學(xué) | 致遠(yuǎn) | 北京 | 交通 | ? | TransGPT?致遠(yuǎn)，基于LLaMA-7B |
| 36 | 恒生電子 | LightGPT | 浙江杭州 | 金融 | ? | |
| 37 | 稀宇科技 | MiniMax | 上海 | 通用 | ? | GLOW虛擬社交 |
| 38 | 左手醫(yī)生 | 左醫(yī)GPT | 北京 | 醫(yī)學(xué) | ? | 醫(yī)療，試用需Key |
| 39 | 上海科技大學(xué) | DoctorGLM | 上海 | 醫(yī)學(xué) | ? | 醫(yī)學(xué)大模型，論文 |
| 40 | 華東師范大學(xué) | EmoGPT,EduChat | 上海 | 教育 | ? | EmoGPT是上海市心理健康與危機(jī)干預(yù)重點(diǎn)實(shí)驗(yàn)室與鏡象科技公司合作完成, 教學(xué)教育大模型EduChat基于BELLE（BELLE基于LLaMA） |
| 41 | 星環(huán)科技 | 無涯、求索 | 上海 | 金融 | ? | 無涯——金融；求索——大數(shù)據(jù)分析 |
| 42 | 澳門理工大學(xué) | XrayGLM,IvyGPT | 澳門 | 醫(yī)療 | ? | IvyGPT基于ChatGLM2，XrayGLM基于VisualGLM-6B |
| 43 | 數(shù)慧時(shí)空 | 長城 | 北京 | 地球科學(xué) | ? | 自然資源，遙感 |
| 44 | 中工互聯(lián) | 智工 | 北京 | 工業(yè) | ? | 與復(fù)旦NLP實(shí)驗(yàn)室聯(lián)合，工業(yè)領(lǐng)域 |
| 45 | 創(chuàng)業(yè)黑馬 | 天啟 | 北京 | 創(chuàng)投 | ? | 創(chuàng)業(yè)黑馬與360合作,科創(chuàng)服務(wù)行業(yè) |
| 46 | 追一科技 | 博文Bowen | 廣東深圳 | 客服 | ? | |
| 47 | 智慧眼 | 砭石 | 湖南長沙 | 醫(yī)學(xué) | ? | 醫(yī)療領(lǐng)域 |
| 48 | 香港科技大學(xué) | 羅賓Robin | 香港 | 科研 | ? | 基于LLaMA,港科大開源LMFlow |
| 49 | 昆侖萬維 | 天工 | 北京 | 客服 | ? | 與奇點(diǎn)智源聯(lián)合研發(fā) |
| 50 | 智媒開源研究院 | 智媒 | 廣東深圳 | 媒體 | ? | 基于LLaMA，面向自媒體 |
| 51 | 醫(yī)療算網(wǎng) | Uni-talk | 上海 | 醫(yī)學(xué) | ? | 上海聯(lián)通+華山醫(yī)院+上海超算中心+華為 |
| 52 | 螞蟻集團(tuán) | 貞儀 | 浙江杭州 | 金融 | ? | 據(jù)傳語言和多模態(tài)兩個(gè) |
| 53 | 硅基智能 | 炎帝 | 江蘇南京 | 文旅 | ? | |
| 54 | 西湖心辰 | 西湖 | 浙江杭州 | 科研 | ? | |
| 55 | 拓爾思 | 拓天 | 北京 | 媒體 | ? | TRSGPT |
| 56 | 好未來 | MathGPT | 北京 | 教育 | ? | 學(xué)而思 |
| 57 | 清博智能 | 先問 | 北京 | 農(nóng)業(yè) | ? | 基于結(jié)構(gòu)化數(shù)據(jù) |
| 58 | 智子引擎 | 元乘象 | 江蘇南京 | 客服 | ? | |
| 59 | 拓世科技 | 拓世 | 江西南昌 | 金融 | ? | |
| 60 | 循環(huán)智能 | 盤古 | 北京 | 客服 | ? | 循環(huán)智能,清華大學(xué),華為 |
| 61 | 慧言科技+天津大學(xué) | 海河·諦聽 | 天津 | 科研 | ? | |
| 62 | 第四范式 | 式說 | 北京 | 客服 | ? | |
| 63 | 字節(jié)跳動 | Grace | 北京 | 通用 | ? | 內(nèi)部代號 |
| 64 | 出門問問 | 序列猴子 | 北京 | 營銷 | ? | |
| 65 | 數(shù)說故事 | SocialGPT | 廣東廣州 | 社交 | ? | |
| 66 | 云從科技 | 從容 | 廣東廣州 | 政務(wù) | ? | |
| 67 | 浪潮信息 | 源 | 山東濟(jì)南 | 通用 | ? | 源 |
| 68 | 中國農(nóng)業(yè)銀行 | 小數(shù)ChatABC | 北京 | 金融 | ? | |
| 69 | 麒麟合盛 | 天燕AiLMe | 北京 | 運(yùn)維 | ? | |
| 70 | 臺智云 | 福爾摩斯FFM | 臺灣 | 工業(yè) | ? | 華碩子公司 |
| 71 | 醫(yī)聯(lián)科技 | medGPT | 四川成都 | 醫(yī)學(xué) | ? | |
| 72 | 電信智科 | 星河 | 北京 | 通信 | ? | 通用視覺，中國電信 |
| 73 | 深思考人工智能 | Dongni | 北京 | 媒體 | ? | |
| 74 | 文因互聯(lián) | 文因 | 安徽合肥 | 金融 | ? | 金融大模型 |
| 75 | 印象筆記 | 大象GPT | 北京 | 媒體 | ? | |
| 76 | 中科聞歌 | 雅意 | 北京 | 媒體 | ? | |
| 77 | 瀾舟科技 | 孟子 | 北京 | 金融 | ? | |
| 78 | 京東 | 言犀 | 北京 | 商業(yè) | ? | |
| 79 | 智臻智能 | 華藏 | 上海 | 客服 | ? | 小i機(jī)器人 |
| 80 | 新華三H3C | 百業(yè)靈犀 | 浙江杭州 | 工業(yè) | ? | |
| 81 | 鵬城實(shí)驗(yàn)室 | 鵬城·腦海 | 廣東深圳 | 科研 | ? | Peng Cheng Mind |
| 82 | 宇視科技 | 梧桐 | 浙江杭州 | 運(yùn)維 | ? | AIoT行業(yè) |
| 83 | 理想科技 | 大道Dao | 北京 | 運(yùn)維 | ? | 運(yùn)維大模型 |
| 84 | 美亞柏科 | 天擎 | 福建廈門 | 安全 | ? | 公共安全 |
| 85 | 賽靈力科技 | 達(dá)爾文 | 廣東廣州 | 醫(yī)學(xué) | ? | 賽靈力,清華珠三角研究院,賽業(yè)生物,大灣區(qū)科技創(chuàng)新服務(wù)中心 |
| 86 | 實(shí)在智能 | 塔斯 | 浙江杭州 | 客服 | ? | TARS |
| 87 | 佳都科技 | 佳都知行 | 廣東廣州 | 交通 | ? | 交通領(lǐng)域 |
| 88 | 知乎 | 知海圖 | 北京 | 媒體 | ? | 知乎和面壁科技合作 |
| 89 | 網(wǎng)易伏羲 | 玉言 | 廣東廣州 | 通用 | ? | |
| 90 | 清睿智能 | ArynGPT | 江蘇蘇州 | 教育 | ? | |
| 91 | 微盟 | WAI | 上海 | 商業(yè) | ? | |
| 92 | 西北工業(yè)大學(xué)+華為 | 秦嶺·翱翔 | 陜西西安 | 工業(yè) | ? | 流體力學(xué)大模型,湍流+流場 |
| 93 | 奇點(diǎn)智源 | 天工智力 | 北京 | 通用 | ? | 瑤光和天樞 |
| 94 | 聯(lián)匯科技 | 歐姆 | 浙江杭州 | 通用 | ? | OmModel歐姆多模態(tài)（視覺語言）大模型 |
| 95 | 中國聯(lián)通 | 鴻湖 | 北京 | 通信 | ? | |
| 96 | 思必馳 | DFM-2 | 江蘇蘇州 | 工業(yè) | ? | |
| 97 | 中科創(chuàng)達(dá) | 魔方Rubik | 北京 | 工業(yè) | ? | |
| 98 | 電科太極 | 小可 | 北京 | 政務(wù) | ? | 黨政企行業(yè)應(yīng)用 |
| 99 | 中國移動 | 九天 | 北京 | 通信 | ? | |
| 100 | 中國電信 | TeleChat | 北京 | 通信 | ? | |
| 101 | 容聯(lián)云 | 赤兔 | 北京 | 客服 | ? | 客服，營銷 |
| 102 | 云天勵飛 | 天書 | 廣東深圳 | 政務(wù) | ? | |
| 103 | 樂言科技 | 樂言 | 上海 | 客服 | ? | |
| 104 | 滬渝人工智能研究院 | 兆言 | 重慶 | 科研 | ? | 也稱：上海交通大學(xué)重慶人工智能研究院 |
| 105 | 中央廣播電視總臺 | 央視聽 | 北京 | 媒體 | ? | 央視聽媒體大模型CMG Media GPT |
| 106 | 超對稱技術(shù)公司 | 乾元 | 北京 | 金融 | ? | |
| 107 | 蜜度 | 文修 | 上海 | 媒體 | ? | 智能校對 |
| 108 | 中國電子云 | 星智 | 湖北武漢 | 政務(wù) | ? | 政務(wù)大模型 |
| 109 | 理想汽車 | MindGPT | 北京 | 工業(yè) | ? | |
| 110 | 閱文集團(tuán) | 妙筆 | 上海 | 文旅 | ? | 網(wǎng)文大模型 |
| 111 | 攜程 | 問道 | 上海 | 文旅 | ? | 旅游行業(yè)大模型 |
| 112 | 騰訊 | 混元 | 廣東深圳 | 通用 | ? | |
| 113 | 瑞泊 | VIDYA | 北京 | 工業(yè) | ? | |
| 114 | 有連云 | 麒麟 | 上海 | 金融 | ? | |
| 115 | 維智科技 | CityGPT | 上海 | 公共服務(wù) | ? | 城市大模型 |
| 116 | 用友 | YonGPT | 北京 | 企業(yè)服務(wù) | ? | |
| 117 | 天云數(shù)據(jù) | Elpis | 北京 | 金融 | ? | 證券法律法規(guī) |
| 118 | 孩子王 | KidsGPT | 江蘇南京 | 教育 | ? | |
| 119 | 企查查 | 知彼阿爾法 | 江蘇蘇州 | 商業(yè) | ? | |
| 120 | 今立方 | 12333 | 福建廈門 | 政務(wù) | ? | 人社領(lǐng)域 |
| 121 | 陽光保險(xiǎn)集團(tuán) | 正言 | 廣東深圳 | 金融 | ? | |
| 122 | 電科數(shù)字 | 智弈 | 上海 | 水利 | ? | |
| 123 | 聆心智能 | CharacterGLM | 北京 | 游戲 | ? | |
| 124 | 大經(jīng)中醫(yī) | 岐黃問道 | 江蘇南京 | 醫(yī)療 | ? | |
| 125 | 蒙牛 | MENGNIU.GPT | 內(nèi)蒙古呼和浩特 | 食品 | ? | |
| 126 | 快商通 | 漢朝 | 福建廈門 | 營銷 | ? | |
| 127 | 眾合科技 | UniChat | 浙江杭州 | 交通 | ? | |
| 128 | 金蝶 | 蒼穹 | 廣東深圳 | 企業(yè)服務(wù) | ? | |
| 129 | 云問科技 | 云中問道 | 江蘇南京 | 營銷 | ? | 與西安未來AI計(jì)算中心聯(lián)合發(fā)布 |
| 130 | 天壤智能 | 小白 | 上海 | 通用 | ? | |
| 131 | 小米 | MiLM-6B | 北京 | 商業(yè) | ? | |
| 132 | 長虹 | 長虹超腦 | 四川綿陽 | 媒體 | ? |
國外大模型
| 公司 | 大模型 | 說明 |
|---|---|---|
| OpenAI | ChatGPT | |
| 微軟 | Bing Chat | |
| PaLM2,Bard,Gemini | Bard支持圖片 | |
| Anthropic | Claude | Claude 2,支持讀入pdf、txt、csv等文件進(jìn)行分析、總結(jié)和問答等 |
| Meta | LLaMA,LLaMA-2 | |
| Stability AI | StableLM | |
| Amazon | Titan | |
| Bloomberg | BloombergGPT | |
| MosaicML | MPT | |
| Intel | Aurora genAI | |
| UC Berkeley, Microsoft Research | Gorilla | |
| inflection.ai | Inflection-1 | |
| xAI | 從OpenAI 到xAI | |
| cohere | Cohere | |
| Scale AI | Scale | |
| character ai | Character | |
| Colossal-AI | ColossalChat |
到了這里，關(guān)于【大模型】二 、大語言模型的基礎(chǔ)知識的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
