ChatGLM-6B 自3月14日發(fā)布以來，深受廣大開發(fā)者喜愛。截至 6 月24日，來自 Huggingface 上的下載量已經(jīng)超過 300w。

為了更進(jìn)一步促進(jìn)大模型開源社區(qū)的發(fā)展，我們?cè)俅紊?jí) ChatGLM-6B，發(fā)布 ChatGLM2-6B 。在主要評(píng)估LLM模型中文能力的 C-Eval 榜單中，截至6月25日 ChatGLM2 模型以 71.1 的分?jǐn)?shù)位居 Rank 0 ，ChatGLM2-6B 模型以 51.7 的分?jǐn)?shù)位居 Rank 6，是榜單上排名最高的開源模型。

• CEval榜單，ChatGLM2暫時(shí)位居Rank 0，ChatGLM2-6B位居 Rank 6

ChatGLM2-6B 是開源中英雙語對(duì)話模型 ChatGLM-6B 的第二代版本，在保留了初代模型對(duì)話流暢、部署門檻較低等眾多優(yōu)秀特性的基礎(chǔ)之上，ChatGLM2-6B 引入了如下新特性：

更強(qiáng)大的性能：基于 ChatGLM 初代模型的開發(fā)經(jīng)驗(yàn)，我們?nèi)嫔?jí)了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目標(biāo)函數(shù)，經(jīng)過了 1.4T 中英標(biāo)識(shí)符的預(yù)訓(xùn)練與人類偏好對(duì)齊訓(xùn)練，評(píng)測(cè)結(jié)果顯示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等數(shù)據(jù)集上的性能取得了大幅度的提升，在同尺寸開源模型中具有較強(qiáng)的競(jìng)爭(zhēng)力。

更長(zhǎng)的上下文：基于 FlashAttention 技術(shù)，我們將基座模型的上下文長(zhǎng)度（Context Length）由 ChatGLM-6B 的 2K 擴(kuò)展到了 32K，并在對(duì)話階段使用 8K 的上下文長(zhǎng)度訓(xùn)練，允許更多輪次的對(duì)話。但當(dāng)前版本的 ChatGLM2-6B 對(duì)單輪超長(zhǎng)文檔的理解能力有限，我們會(huì)在后續(xù)迭代升級(jí)中著重進(jìn)行優(yōu)化。

更高效的推理：基于 Multi-Query Attention 技術(shù)，ChatGLM2-6B 有更高效的推理速度和更低的顯存占用：在官方的模型實(shí)現(xiàn)下，推理速度相比初代提升了 42%，INT4 量化下，6G 顯存支持的對(duì)話長(zhǎng)度由 1K 提升到了 8K。

更開放的協(xié)議：ChatGLM2-6B 權(quán)重對(duì)學(xué)術(shù)研究完全開放，在獲得官方的書面許可后，亦允許商業(yè)使用。如果您發(fā)現(xiàn)我們的開源模型對(duì)您的業(yè)務(wù)有用，我們歡迎您對(duì)下一代模型 ChatGLM3 研發(fā)的捐贈(zèng)。

在關(guān)注ChatGLM第二代模型的同時(shí)，我們也看到了團(tuán)隊(duì)的另一個(gè)大模型作品CodeGeeX。CodeGeeX 是一個(gè)具有130億參數(shù)的大規(guī)模多編程語言代碼預(yù)訓(xùn)練模型，該預(yù)訓(xùn)練模型支持二十多種主流編程語言，實(shí)現(xiàn)高精度的代碼生成，代碼翻譯和代碼注釋等功能。模型開源開放，目前在Github上已經(jīng)獲得6000+ Star好評(píng)。

基于CodeGeeX模型的插件產(chǎn)品，支持多種主流IDE，如VS Code、IntelliJ IDEA、PyCharm、Vim等，目前CodeGeeX插件的安裝用戶超過100,000+，每天為開發(fā)者生成數(shù)百萬行代碼。

下載使用——CodeGeeX插件，在VSCode和JetBrains IDEs可以直接免費(fèi)下載使用。CodeGeeX插件可以自動(dòng)實(shí)現(xiàn)代碼生成，可以逐行為代碼添加注釋，也可以進(jìn)行不同編程語言之間的代碼翻譯。特別值得點(diǎn)贊的功能“Ask CodeGeeX”，把類似chatGPT一樣的智能問答功能，與開發(fā)者編程環(huán)境IDE深度融合。開發(fā)者可以在IDE中，通過問答對(duì)話的方式解決技術(shù)問題。

在IDE中使用Ask CodeGeeX功能，使得開發(fā)過程中遇到的問題，都可以在IDE中沉浸式解決，不用跳出開發(fā)環(huán)境尋找解決代碼問題的答案，提升了代碼開發(fā)效率。同時(shí)，在這個(gè)新版本中，通過對(duì)話框區(qū)域常用命令“explain/解釋代碼”、“comment/生成注釋”、“fixbug/檢查bug”的快捷方式，可以直接操作代碼，實(shí)現(xiàn)代碼解釋，逐行添加代碼注釋，嘗試修復(fù)代碼片段潛在bug等功能。

“explain/解釋代碼”按鈕，獲得整段代碼解釋

當(dāng)你編寫代碼時(shí)，希望了解某一段生成的代碼作何解釋？那么你就可以在CodeGeeX插件的代碼生成區(qū)域中，選中該段代碼，左側(cè)邊欄的對(duì)話區(qū)會(huì)出現(xiàn)浮層，同時(shí)展示選中代碼。在對(duì)話區(qū)通過快捷按鈕：“解釋代碼”，在對(duì)話界面中就可以回復(fù)出整段的代碼解釋。

“comment/生成注釋”按鈕為代碼逐行添加注釋

同樣，當(dāng)你希望為一段生成的代碼逐行添加注釋，你就可以在CodeGeeX代碼生成區(qū)域，選中該段代碼，側(cè)邊欄的對(duì)話區(qū)會(huì)出現(xiàn)浮層，同時(shí)展示選中代碼。在對(duì)話區(qū)通過快捷按鈕：“生成注釋”，在對(duì)話界面就可以直接為這段代碼逐行添加注釋。

“fixbug/檢查bug”修復(fù)代碼潛在bug

當(dāng)你編寫代碼遇到一個(gè)錯(cuò)誤時(shí)，在CodeGeeX插件的代碼生成區(qū)域中選中該段代碼，左側(cè)邊欄的對(duì)話區(qū)會(huì)出現(xiàn)浮層，同時(shí)展示選中代碼。在對(duì)話區(qū)通過快捷按鈕：“檢查bug”，代碼編輯區(qū)就可以直接幫你找到這段代碼中的問題并進(jìn)行錯(cuò)誤修復(fù)，并且對(duì)修復(fù)代碼的區(qū)域做高亮標(biāo)記，方便進(jìn)行代碼對(duì)照。

本文由博客一文多發(fā)平臺(tái) OpenWrite 發(fā)布！文章來源地址http://www.zghlxwxcb.cn/news/detail-504116.html

到了這里，關(guān)于ChatGLM-6B第二代模型開源，拿下LLM模型中文能力評(píng)估榜單第一名的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！