一、背景

? ? ? ? 在當(dāng)今社會，實際應(yīng)用比純粹理解原理和概念更為重要。即使您對某個領(lǐng)域的原理和概念有深入的理解，但如果無法將其應(yīng)用于實際場景并受制于各種客觀條件，那么與其一開始就過于深入，不如先從基礎(chǔ)開始，實際操作后再逐步深入探索。
? ? ? ? 在這種實踐至上的理念下，或許我可以為您提供一種直接的、實際操作的方法。希望能借助我的經(jīng)驗，為各位朋友帶來一些有幫助的建議，例如：
? ? ? ? 1、您是否也在迫不及待地期待在AI時代中展示自己的能力？
? ? ? ? 2、您是否一直在研究如何使用開源模型？
? ? ? ? 3、您是否一直在尋找將AI與業(yè)務(wù)結(jié)合的方向？
? ? ? ? 4、您是否一直在尋找模型推理加速的方法？
? ? ? ? 5、您是否一直在努力整合來自互聯(lián)網(wǎng)上零散的資料？
? ? ? ? 如果您在上述問題中有類似的疑問，我非常希望您能從中受益。

二、項目架構(gòu)

? ? 簡化后的示意圖如下：

三、總覽

? ? 通過實際案例，我們將為大家呈現(xiàn)一系列文章，幫助您了解如何將開源模型與業(yè)務(wù)整合。這些文章將引導(dǎo)您深入掌握該過程。

3.1. 初級入門系列

3.1.1. 開源模型應(yīng)用落地-qwen模型小試-入門篇系列

? ? ? ??開源模型應(yīng)用落地-qwen模型小試-入門篇（一）

? ? ? ? ? ? 重點：在windows環(huán)境下，使用transformer調(diào)用Qwen-1_8B-Chat模型

? ? ? ??開源模型應(yīng)用落地-qwen模型小試-入門篇（二）

? ? ? ? ? ?重點：在windows環(huán)境下，使用transformer設(shè)置模型參數(shù)/System Prompt/歷史對話

? ? ? ??開源模型應(yīng)用落地-qwen模型小試-入門篇（三）

? ? ? ? ? ? 重點：在linux環(huán)境下，使用transformer調(diào)用Qwen-1_8B-Chat模型

? ? ? ??開源模型應(yīng)用落地-qwen模型小試-入門篇（四）

? ? ? ? ? ? 重點：使用gradio，構(gòu)建Qwen-1_8B-Chat模型的測試界面

? ? ? ??開源模型應(yīng)用落地-qwen模型小試-入門篇（五）

? ? ? ? ? ? 重點：使用modelscope api調(diào)用Qwen-1_8B-Chat模型，實現(xiàn)非流式/流式輸出

? ? ? ??開源模型應(yīng)用落地-qwen2模型小試-入門篇（六）

? ? ? ? ? ? 重點：Qwen1.5系列模型的新特性及使用方式

? ? ? ??開源模型應(yīng)用落地-qwen模型小試-進階篇（七）

? ? ? ? ? ? 重點：調(diào)用微調(diào)后的qwen-7b-chat模型

3.1.2.?開源模型應(yīng)用落地-baichuan模型小試-入門篇系列

? ? ? ??開源模型應(yīng)用落地-baichuan模型小試-入門篇（一）

? ? ? ? ? ? 重點：在windows環(huán)境下，使用transformer調(diào)用Baichun-7B模型

3.1.3.?開源模型應(yīng)用落地-chatglm模型小試-入門篇系列

3.1.4.?開源模型應(yīng)用落地-KnowLM模型小試-入門篇系列

? ? ? ??開源模型應(yīng)用落地-KnowLM模型小試-入門篇（一）

? ? ? ? ? ? 重點：調(diào)用KnowLM模型，實現(xiàn)知識抽取

? ? ? ??開源模型應(yīng)用落地-KnowLM模型小試-入門篇（二）

? ? ? ? ? ? 重點：優(yōu)化模型參數(shù)，提高知識提取效率和質(zhì)量

3.2. 高級進階系列

3.2.1. 開源模型應(yīng)用落地-向量數(shù)據(jù)庫小試-入門篇系列

? ? ? ??開源模型應(yīng)用落地-工具使用篇-向量數(shù)據(jù)庫（三）

? ? ? ? ? ? 重點：Milvus Lite向量數(shù)據(jù)庫的基本使用

? ? ? ??開源模型應(yīng)用落地-工具使用篇-向量數(shù)據(jù)庫進階（四）

? ? ? ? ? ? 重點：Milvus Lite向量數(shù)據(jù)庫的進階使用

3.2.2.?開源模型應(yīng)用落地-qwen-7b-chat與vllm實現(xiàn)推理加速的正確姿勢系列

? ? ? ??開源模型應(yīng)用落地-qwen-7b-chat與vllm實現(xiàn)推理加速的正確姿勢（一）

? ? ? ? ? ? 重點：qwen-7b-chat集成vllm

? ? ? ??開源模型應(yīng)用落地-qwen-7b-chat與vllm實現(xiàn)推理加速的正確姿勢（二）

? ? ? ? ? ? 重點：gunicorn+flask構(gòu)建AI服務(wù)

? ? ? ??開源模型應(yīng)用落地-qwen-7b-chat與vllm實現(xiàn)推理加速的正確姿勢（三）

? ? ? ? ? ? 重點：supervisor提升服務(wù)的穩(wěn)定性

? ? ? ??開源模型應(yīng)用落地-qwen-7b-chat與vllm實現(xiàn)推理加速的正確姿勢（四）

? ? ? ? ? ? 重點：鑒權(quán)和限流提升AI服務(wù)的安全性和穩(wěn)定性

? ? ? ? 開源模型應(yīng)用落地-qwen-7b-chat與vllm實現(xiàn)推理加速的正確姿勢（五）

? ? ? ? ? ? 重點：定時任務(wù)處理隱藏盲點

? ? ? ? 開源模型應(yīng)用落地-qwen-7b-chat與vllm實現(xiàn)推理加速的正確姿勢（六）

? ? ? ? ? ? 重點：改變模型自我認知

? ? ? ? 開源模型應(yīng)用落地-qwen-7b-chat與vllm實現(xiàn)推理加速的正確姿勢（七）

? ? ? ? ? ? 重點：AI服務(wù)性能優(yōu)化

? ? ? ? 開源模型應(yīng)用落地-qwen1.5-7b-chat與vllm實現(xiàn)推理加速的正確姿勢（八）

? ? ? ? ? ? 重點：qwen1.5-7b-chat集成vllm

? ? ? ? 開源模型應(yīng)用落地-qwen1.5-7b-chat與vllm實現(xiàn)推理加速的正確姿勢（九）

? ? ? ? ? ? 重點：qwen1.5-7b-chat集成vllm，構(gòu)建與OpenAI-API兼容的API服務(wù)

3.2.3. 開源模型應(yīng)用落地-業(yè)務(wù)整合系列

? ? ? ??開源模型應(yīng)用落地-業(yè)務(wù)整合篇（一）

? ? ? ? ? ? 重點：使用HttpURLConnection/OkHttp/HttpClient多種方式調(diào)用AI服務(wù)

? ? ? ??開源模型應(yīng)用落地-業(yè)務(wù)整合篇（二）

? ? ? ? ? ? 重點：使用Netty庫快速構(gòu)建WebSocket服務(wù)，實現(xiàn)客戶端與AI服務(wù)交互

? ? ? ??開源模型應(yīng)用落地-業(yè)務(wù)整合篇（三）

? ? ? ? ? ? 重點：spring boot集成netty服務(wù)，實現(xiàn)用戶界面交互

? ? ? ??開源模型應(yīng)用落地-業(yè)務(wù)整合篇（四）

? ? ? ? ? ? 重點：構(gòu)建websocket身份校驗機制，避免無效連接

? ? ? ??開源模型應(yīng)用落地-業(yè)務(wù)整合篇（五）

? ? ? ? ? ? 重點：構(gòu)建websocket心跳機制，及時釋放一些無效的連接

3.2.4. 開源模型應(yīng)用落地-業(yè)務(wù)優(yōu)化系列

? ? ? ??開源模型應(yīng)用落地-業(yè)務(wù)優(yōu)化篇（一）

? ? ? ? ? ? 重點：使用線程池提升處理效率

? ? ? ??開源模型應(yīng)用落地-業(yè)務(wù)優(yōu)化篇（二）

? ? ? ? ? ? 重點：使用Redis隊列和分布式鎖實現(xiàn)請求排隊

? ? ? ? 開源模型應(yīng)用落地-業(yè)務(wù)優(yōu)化篇（三）

? ? ? ? ? ? 重點：使用SLB實現(xiàn)AI服務(wù)水平擴容

? ? ? ? 開源模型應(yīng)用落地-業(yè)務(wù)優(yōu)化篇（四）

? ? ? ? ? ? 重點：多級數(shù)據(jù)緩存概述

? ? ? ? 開源模型應(yīng)用落地-業(yè)務(wù)優(yōu)化篇（五）

? ? ? ? ? ? 重點：使用HanLP進行詞性標注，并使用Redis作為一級緩存

? ? ? ? 開源模型應(yīng)用落地-業(yè)務(wù)優(yōu)化篇（六）

? ? ? ? ? ? 重點：使用向量數(shù)據(jù)庫作為二級緩存，來為AI服務(wù)減負，提升處理效率

? ? ? ? 開源模型應(yīng)用落地-業(yè)務(wù)優(yōu)化篇（七）

? ? ? ? ? ? 重點：使用RocketMQ提升處理效率

? ? ? ??開源模型應(yīng)用落地-業(yè)務(wù)優(yōu)化篇（八）

? ? ? ? ? ? 重點：統(tǒng)計問題的請求頻次，實現(xiàn)熱門問題的實時緩存

3.2.5.?開源模型應(yīng)用落地-安全合規(guī)系列

? ? ? ??開源模型應(yīng)用落地-安全合規(guī)篇（一）

? ? ? ? ? ? 重點：使用DFA算法檢測輸入內(nèi)容的合法性

? ? ? ? 開源模型應(yīng)用落地-安全合規(guī)篇（二）

? ? ? ? ? ? 重點：使用騰訊云文本內(nèi)容安全服務(wù)檢測輸入內(nèi)容的合法性文章來源地址http://www.zghlxwxcb.cn/news/detail-839889.html

3.3. 深度優(yōu)化系列

3.3.1. 開源模型應(yīng)用落地-qwen模型微調(diào)系列

3.3.2. 開源模型應(yīng)用落地-記憶增強系列

3.4. 知識鞏固系列

3.4.1.開源模型應(yīng)用落地-項目回顧系列

到了這里，關(guān)于開源模型應(yīng)用落地-總述的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！