相關(guān)文章

• 

  從零實(shí)現(xiàn)Transformer、ChatGLM-6B、LangChain+LLM的本地知識(shí)庫問答

  最近一直在做類ChatGPT項(xiàng)目的部署 微調(diào)，關(guān)注比較多的是兩個(gè)：一個(gè)LLaMA，一個(gè)ChatGLM，會(huì)發(fā)現(xiàn)有不少模型是基于這兩個(gè)模型去做微調(diào)的，說到微調(diào)，那具體怎么微調(diào)呢，因此又詳細(xì)了解了一下微調(diào)代碼，發(fā)現(xiàn)微調(diào)LLM時(shí)一般都會(huì)用到Hugging face實(shí)現(xiàn)的Transformers庫的Trainer類 從而發(fā)現(xiàn)

  2024年02月08日

  瀏覽(43)
• 

  從零開始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型，本地知識(shí)庫（二）

  接上文：從零開始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型，本地知識(shí)庫 Langchain-chatchat 0.2.10 推薦使用python3.11.7，通過下面命令進(jìn)行python環(huán)境創(chuàng)建。 如下圖 安裝完畢后，通過以下命令激活python虛擬環(huán)境 如下圖，shell命令行前面會(huì)出現(xiàn)（langchain）這個(gè)虛擬環(huán)境名。 轉(zhuǎn)到

  2024年03月21日

  瀏覽(32)
• 

  從零開始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型，本地知識(shí)庫（完結(jié)篇）

  相關(guān)文章： 從零開始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型，本地知識(shí)庫（一） https://blog.csdn.net/hya168/article/details/131460230 從零開始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型，本地知識(shí)庫（二） https://blog.csdn.net/hya168/article/details/135870440 生成默認(rèn)配置文件 此命令

  2024年02月20日

  瀏覽(21)
• 

  本地化部署大語言模型 ChatGLM

  ChatGLM-6B 是一個(gè)開源的、支持中英雙語的對(duì)話語言模型，基于 General Language Model (GLM) 架構(gòu)，具有 62 億參數(shù)。結(jié)合模型量化技術(shù)，用戶可以在消費(fèi)級(jí)的顯卡上進(jìn)行本地部署（INT4 量化級(jí)別下最低只需 6GB 顯存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技術(shù)，針對(duì)中文問答和對(duì)話進(jìn)行了優(yōu)

  2023年04月20日

  瀏覽(32)
• 

  LangChain + ChatGLM2-6B 搭建個(gè)人專屬知識(shí)庫

  之前教過大家利用 langchain + ChatGLM-6B 實(shí)現(xiàn)個(gè)人專屬知識(shí)庫，非常簡單易上手。最近，智譜 AI 研發(fā)團(tuán)隊(duì)又推出了 ChatGLM 系列的新模型 ChatGLM2-6B，是開源中英雙語對(duì)話模型 ChatGLM-6B 的第二代版本，性能更強(qiáng)悍。 樹先生之所以現(xiàn)在才更新 ChatGLM2-6B 知識(shí)庫教程，是想等模型本身再多

  2024年02月16日

  瀏覽(24)
• 

  使用LangChain與ChatGLM實(shí)現(xiàn)本地知識(shí)庫（一）

  ??本篇主要內(nèi)容為介紹ChatGLM3的安裝使用，后續(xù)才會(huì)涉及到使用LangChain實(shí)現(xiàn)本地知識(shí)庫的內(nèi)容； ??ChatGLM為智譜與清華大學(xué)開源的一個(gè)大語言模型，支持多輪對(duì)話、內(nèi)容創(chuàng)作等，ChatGLM3-6B為ChatGLM3系列中門檻相對(duì)較低的一個(gè)，本地部署提供兼容OpenAI的API； ??LangChain用于快

  2024年02月05日

  瀏覽(27)
• 

  使用Langchain與ChatGLM實(shí)現(xiàn)本地知識(shí)庫（二）

  ??大語言模型也只是將用戶提供的大規(guī)模數(shù)據(jù)集訓(xùn)練而來，也并非萬能的什么都知道，特別是一些小眾知識(shí)、內(nèi)部數(shù)據(jù)或私密的個(gè)人數(shù)據(jù)等，此時(shí)ChatGLM3肯定會(huì)胡亂回答就是ChatGPT4也不一定能給出滿意回答；不少公司、個(gè)人都有自己的知識(shí)庫或日志等此時(shí)如有可將這些數(shù)據(jù)以

  2024年02月05日

  瀏覽(31)
• 

  【ChatGLM_02】LangChain知識(shí)庫+Lora微調(diào)chatglm2-6b模型+提示詞Prompt的使用原則

  運(yùn)行l(wèi)angchain-ChatGLM-master下面的webui.py文件 (1) 配置知識(shí)庫 新建知識(shí)庫 向知識(shí)庫當(dāng)中添加文件 支持上傳的數(shù)據(jù)格式：word、pdf、excel、csv、txt、文件夾等。但是此處我試了一下 (2) 文檔數(shù)據(jù)測試 word文檔測試： (3) 知識(shí)庫測試模式 知識(shí)庫測試只會(huì)返回輸入內(nèi)容在當(dāng)前知識(shí)庫當(dāng)中的

  2024年02月14日

  瀏覽(24)

• LLMs之RAG：LangChain-ChatGLM-Webui(一款基于本地知識(shí)庫(各種文本文檔)的自動(dòng)問答的GUI界面實(shí)現(xiàn))的簡介、安裝、使用方法之詳細(xì)攻略

  LLMs之RAG：LangChain-ChatGLM-Webui(一款基于本地知識(shí)庫(各種文本文檔)的自動(dòng)問答的GUI界面實(shí)現(xiàn))的簡介、安裝、使用方法之詳細(xì)攻略 目錄 LangChain-ChatGLM-Webui的簡介 1、支持的模型 LangChain-ChatGLM-Webui的安裝 1、安裝 T1、直接安裝? 環(huán)境準(zhǔn)備 啟動(dòng)程序 T2、Docker安裝 (1)、Docker 基礎(chǔ)環(huán)境運(yùn)

  2024年02月04日

  瀏覽(16)
• 

  開源大模型ChatGLM2-6B 2. 跟著LangChain參考文檔搭建LLM+知識(shí)庫問答系統(tǒng)

  租用了1臺(tái)GPU服務(wù)器，系統(tǒng) ubuntu20，Tesla V100-16GB （GPU服務(wù)器已經(jīng)關(guān)機(jī)結(jié)束租賃了） SSH地址：* 端口：17520 SSH賬戶：root 密碼：Jaere7pa 內(nèi)網(wǎng)： 3389 ， 外網(wǎng)：17518 VNC地址：* 端口：17519 VNC用戶名：root 密碼：Jaere7pa 硬件需求，ChatGLM-6B和ChatGLM2-6B相當(dāng)。 量化等級(jí)?? ?最低 GPU 顯存 F

  2024年02月03日

  瀏覽(32)