FastGPT 是一個(gè)基于 LLM 大語言模型的知識(shí)庫問答系統(tǒng)，提供開箱即用的數(shù)據(jù)處理、模型調(diào)用等能力，它背后依賴OneApi開源項(xiàng)目來訪問各種大語言模型提供的能力。各大語言模型提供的訪問接口規(guī)范不盡相同，為此OneApi項(xiàng)目提供了統(tǒng)一的API接口去對接各種大語言模型。FastGPT的部署架構(gòu)如圖所示：

本文章將介紹如何部署OneApi和FastGPT，以及兩種在線大語言模型（AzureOpenAI和訊飛星火3.5）的配置方法。

我將在Windows系統(tǒng)的WSL子系統(tǒng)上進(jìn)行部署，WSL子系統(tǒng)安裝的是Ubuntu22 Linux系統(tǒng)，WSL的部署方式完全適用于真實(shí)的Linux系統(tǒng)。

一、部署OneApi

OneApi項(xiàng)目開源地址：https://github.com/songquanpeng/one-api

1.在/opt目錄下創(chuàng)建oneapi目錄

cd opt
mkdir oneapi
cd oneapi

2.編輯docker-compose.yml文件

在/opt/oneapi目錄下創(chuàng)建docker-compose.yml文件，將下面的內(nèi)容復(fù)制進(jìn)去并保存

version: '3.8'

services:
  oneapi:
    container_name: oneapi
    image: justsong/one-api:latest
    restart: unless-stopped
    ports:
      - 3001:3000
    networks:
      - llm_net
    volumes:
      - ./data:/data
    environment:
      - TZ=Asia/Shanghai

networks:
  llm_net:
    name: llm_net
    external: true  

3.創(chuàng)建llm_net docker網(wǎng)絡(luò)

docker network create llm_net

4.運(yùn)行oneapi

docker compose up -d

5.配置AzureOpenAI渠道

登錄http://localhost:3001，用戶名：root，密碼：123456。

如果你沒有申請AzureOpenAI，可以直接查看訊飛星火的配置方式。其實(shí)申請AzureOpenAI并不難，網(wǎng)上教程很多，只要真實(shí)填寫相關(guān)信息，一般24小時(shí)內(nèi)就可以通過。

接下來我們添加AzureOpenAI渠道，按照圖中的方式填寫就好了。這里有一個(gè)需要注意的地方就是名稱那一項(xiàng)填的是Azure上面的部署名稱，而這個(gè)部署名稱必須要和模型名稱一致（很奇怪的做法，GitHub上已經(jīng)有人提了issue，正在解決）

6.測試

渠道添加成功后，可以在渠道列表頁面點(diǎn)擊“測試”按鈕，如果沒有問題，會(huì)返回測試成功。

7.創(chuàng)建令牌

令牌的名稱隨便填，由于是測試，可以把額度設(shè)置為無限額度。

提交后，可以在令牌列表頁面復(fù)制剛剛創(chuàng)建的令牌，這個(gè)令牌將在部署FastGPT時(shí)用到。

二、部署fastgpt

1.在/opt目錄下創(chuàng)建fastgpt目錄

cd opt
mkdir fastgpt
cd fastgpt

2.編輯docker-compose.yml文件

請先閱讀FastGPT官方部署文檔：https://doc.fastgpt.in/docs/development/docker/

下載docker-compose.yml文件和config.json文件

curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

編輯docker-compose.yml文件，主要是更改了容器網(wǎng)絡(luò)，數(shù)據(jù)庫用戶名密碼之類的

version: '3.8'
services:
  pg:
    image: ankane/pgvector:v0.5.0 # git
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.5.0 # 阿里云
    container_name: pg
    restart: always
    ports: 
      - 5432:5432
    networks:
      - llm_net
    environment:
      - POSTGRES_USER=fastgpt
      - POSTGRES_PASSWORD=123456
      - POSTGRES_DB=fastgpt
    volumes:
      - ./pg/data:/var/lib/postgresql/data

  mongo:
    image: mongo:5.0.18
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云
    container_name: mongo
    ports:
      - 27017:27017
    networks:
      - llm_net
    command: mongod --keyFile /data/mongodb.key --replSet rs0
    environment:
      - MONGO_INITDB_ROOT_USERNAME=fastgpt
      - MONGO_INITDB_ROOT_PASSWORD=123456
    volumes:
      - ./mongo/data:/data/db
      - ./mongodb.key:/data/mongodb.key

  fastgpt:
    container_name: fastgpt
    image: ghcr.io/labring/fastgpt:latest # git
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:latest # 阿里云
    ports:
      - 3002:3000
    networks:
      - llm_net
    depends_on:
      - mongo
      - pg
    restart: always
    environment:
      - DEFAULT_ROOT_PSW=123456
      - OPENAI_BASE_URL=http://192.168.2.117:3001/v1
      - CHAT_API_KEY=sk-XXXXX # 在OneApi中創(chuàng)建的令牌
      - DB_MAX_LINK=5 # database max link
      - TOKEN_KEY=any
      - ROOT_KEY=root_key
      - FILE_TOKEN_KEY=filetoken
      # mongo 配置，不需要改. 用戶名myname,密碼mypassword。
      - MONGODB_URI=mongodb://fastgpt:123456@mongo:27017/fastgpt?authSource=admin
      # pg配置. 不需要改
      - PG_URL=postgresql://fastgpt:123456@pg:5432/fastgpt
    volumes:
      - ./config.json:/app/data/config.json

networks:
  llm_net:
    name: llm_net
    external: true  

這里要注意的 OPENAI_BASE_URL=http://192.168.2.117:3001/v1，我本來想設(shè)置成http://oneapi:3000/v1，因?yàn)閒astgpt與oneapi在同一個(gè)docker網(wǎng)絡(luò)，但fastgpt訪問不了這個(gè)地址，可能是哪里沒有設(shè)置對，只好先用本機(jī)ip來訪問。

3.編輯config.json文件

改動(dòng)如下，name改成在oneapi配置中的一樣

4.運(yùn)行fastgpt

docker compose up -d

運(yùn)行成功之后，不要忘了對MongoDb進(jìn)行配置，直接按官網(wǎng)的步驟進(jìn)行操作：

# 查看 mongo 容器是否正常運(yùn)行
docker ps
# 進(jìn)入容器
docker exec -it mongo bash
# 連接數(shù)據(jù)庫
mongo -u myname -p mypassword --authenticationDatabase admin
# 初始化副本集。如果需要外網(wǎng)訪問，mongo:27017 可以改成 ip:27017。但是需要同時(shí)修改 FastGPT 連接的參數(shù)（MONGODB_URI=mongodb://myname:mypassword@mongo:27017/fastgpt?authSource=admin => MONGODB_URI=mongodb://myname:mypassword@ip:27017/fastgpt?authSource=admin）
rs.initiate({
  _id: "rs0",
  members: [
    { _id: 0, host: "mongo:27017" }
  ]
})
# 檢查狀態(tài)。如果提示 rs0 狀態(tài)，則代表運(yùn)行成功
rs.status()

5.測試

官網(wǎng)說OPENAI_BASE_URL地址后面要加v1，當(dāng)我加了的時(shí)候，測試結(jié)果如下，報(bào)404：

于是去oneapi容器查看日志，可以看到fastgpt請求已經(jīng)轉(zhuǎn)到了oneapi，oneapi又去請求AzureOpenAI， AzureOpenAI返回404。于是去Azure上測試部署后的聊天功能，按F12查看網(wǎng)絡(luò)請求，發(fā)現(xiàn)路由里面沒有v1

于是更改docker-compose.yml文件，把OPENAI_BASE_URL值中的v1去掉了，重新執(zhí)行docker-compose up -d ，重啟之后繼續(xù)測試，這次的報(bào)錯(cuò)就不一樣了，如下圖所示：

查看oneapi日志，請求結(jié)果是200，但沒有響應(yīng)內(nèi)容，找了很久的原因，無法得知是OneApi還是Azure OpenAI的問題，于是轉(zhuǎn)而去測試訊飛星火大模型。

三、配置訊飛星火認(rèn)知大模型

1.創(chuàng)建訊飛模型應(yīng)用

先去官方領(lǐng)取訊飛星火認(rèn)知大模型的個(gè)人免費(fèi)試用套餐（我選的是V3.5版本）：https://xinghuo.xfyun.cn/sparkapi?scr=price

然后去到訊飛開放平臺(tái)去創(chuàng)建基于v3.5版本的應(yīng)用，得到APPID、APISecret、APIKey三個(gè)值（在OneApi中需要用到）

2.在oneapi頁面添加星火模型渠道

3.編輯fastgpt的config.json文件

增加星火模型的配置

4.重啟fastgpt容器

注意：如果你之前的操作把OPENAI_BASE_URL的v1去掉了，請把它補(bǔ)上，然后執(zhí)行命令：docker-compose up -d

5.測試

AI模型選擇上面配置的spark3.5，測試成功
文章來源地址http://www.zghlxwxcb.cn/news/detail-837692.html

到了這里，關(guān)于本地部署FastGPT使用在線大語言模型的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！