MiniGPT4系列之一部署篇：在RTX-3090 Ubuntu服務(wù)器部署步驟詳解_seaside2003的博客-CSDN博客
MiniGPT4系列之二推理篇命令行方式：在RTX-3090 Ubuntu服務(wù)器推理詳解_seaside2003的博客-CSDN博客
MiniGPT4系列之三模型推理 (Web UI)：在RTX-3090 Ubuntu服務(wù)器推理_seaside2003的博客-CSDN博客
本文參考以下知乎帖子后半部分：
手搓具有GPT-4 90%能力的開源大語言模型FastChat - 知乎
FastChat安裝
有兩種方法：
pip方式安裝：
pip3 install fschat源碼安裝：
git clone https://github.com/lm-sys/FastChat.git
cd FastChat
pip3 install --upgrade pip # enable PEP 660 support
pip3 install -e .
?開啟服務(wù)
python -m fastchat.serve.cli --model-path /home/train/mycharm/new/vicuna此時可能會出現(xiàn)報錯，ModuleNotFoundError: No module named 'rich'，因為上面都沒有安裝rich這個包
但直接pip install rich，我試了不行，執(zhí)行以下命令成功：
python -m pip install rich
這個命令參照：ModuleNotFoundError: No module named 'rich’
\"ModuleNotFoundError: No module named \'rich\'\" 即使我使用 pip 安裝答案 - 愛碼網(wǎng)
再次執(zhí)行以下命令，可以看出執(zhí)行成功：文章來源：http://www.zghlxwxcb.cn/news/detail-583432.html
python -m fastchat.serve.cli --model-path /home/train/mycharm/new/vicuna
文章來源地址http://www.zghlxwxcb.cn/news/detail-583432.html
到了這里，關(guān)于MiniGPT4系列之二推理篇命令行方式：在RTX-3090 Ubuntu服務(wù)器推理詳解的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
