一、前言

? ? 通過學習"開源模型應用落地"系列文章，我們成功地建立了一個完整可實施的AI交付流程?，F(xiàn)在，我們要引入負載均衡，以提高我們的AI服務的性能和故障轉(zhuǎn)移能力。本文將詳細介紹如何使用騰訊云的負載均衡技術來將我們的AI服務部署為一個集群。

二、術語

2.1、負載均衡

? ? 負載均衡（Load Balancing）是一種技術，旨在在計算機、網(wǎng)絡或其他資源上均勻分配工作負載，以提高系統(tǒng)的性能、可靠性和可擴展性。

? ? 在計算機網(wǎng)絡中，負載均衡通常用于分配網(wǎng)絡流量或請求到多個服務器上，以避免單個服務器過載而導致性能下降或系統(tǒng)故障。通過將工作負載分發(fā)到多個服務器上，負載均衡確保每個服務器都能夠處理適量的請求，從而提高整個系統(tǒng)的響應能力。

2.2、硬件負載均衡

? ? 是一種使用專門的物理設備（硬件負載均衡器）來實現(xiàn)負載均衡的技術。與軟件負載均衡相比，硬件負載均衡器是一種專用硬件設備，具有更高的處理能力和性能。

? ? 硬件負載均衡器通常位于網(wǎng)絡中央位置，作為服務器和客戶端之間的中間層。其主要功能是在多個服務器之間分發(fā)網(wǎng)絡流量或請求，以確保負載均衡和高可用性。

硬件負載均衡器具有以下特點和優(yōu)勢：

• 高性能：硬件負載均衡器通常具有專門的硬件加速器和優(yōu)化算法，能夠處理大量的網(wǎng)絡流量和請求，提供快速響應和高吞吐量。
• 可擴展性：通過添加更多的服務器和負載均衡器，硬件負載均衡器可以輕松擴展以適應不斷增長的流量和負載需求。
• 可靠性：硬件負載均衡器通常具有冗余和故障轉(zhuǎn)移機制，以確保在單個負載均衡器故障時仍然保持系統(tǒng)的可用性。
• 安全性：硬件負載均衡器可以提供一些安全功能，如防火墻、DDoS（分布式拒絕服務攻擊）防護等，以增強系統(tǒng)的安全性。
• 管理和監(jiān)控：硬件負載均衡器通常提供簡單易用的管理界面和豐富的監(jiān)控工具，使管理員能夠輕松配置和監(jiān)控負載均衡器的性能和狀態(tài)。

2.3、軟件負載均衡

? ? 是一種使用軟件來實現(xiàn)負載均衡的技術。它在計算機系統(tǒng)中通過運行在普通服務器上的負載均衡軟件來分發(fā)工作負載，以實現(xiàn)請求的均衡分配和系統(tǒng)性能的提升。

軟件負載均衡通常采用以下幾種方式來實現(xiàn)：

• 軟件負載均衡器：通過在一組服務器上運行負載均衡軟件，該軟件可以基于特定的算法（如輪詢、最小連接等）將請求分發(fā)到不同的服務器上。負載均衡軟件可以動態(tài)地監(jiān)測服務器的負載情況，并根據(jù)負載情況進行動態(tài)調(diào)整，以實現(xiàn)負載均衡。
• 反向代理服務器：反向代理服務器是一種位于客戶端和服務器之間的服務器，它接收來自客戶端的請求，并代表客戶端向后端服務器發(fā)送請求。反向代理服務器可以使用負載均衡算法將請求分發(fā)到多個后端服務器上，以實現(xiàn)負載均衡。
• 虛擬IP（VIP）或虛擬服務器：通過使用虛擬IP或虛擬服務器，多個服務器可以共享同一個IP地址或域名，客戶端的請求將被分發(fā)到這些服務器中的一個。這種方式可以通過軟件來實現(xiàn)負載均衡，將請求分發(fā)到不同的服務器上。

2.4、負載均衡算法

負載均衡可以使用多種算法來決定如何分配工作負載。常見的負載均衡算法包括：

1. 輪詢（Round Robin）：按照順序?qū)⒄埱笠来畏职l(fā)到每個服務器，確保每個服務器都有機會處理請求。
2. 最少連接（Least Connection）：將請求分配給當前連接數(shù)最少的服務器，以確保負載更均衡。
3. IP哈希（IP Hash）：根據(jù)客戶端的IP地址將請求分發(fā)到特定的服務器，以確保相同IP地址的請求始終被分配到同一臺服務器上。
4. 加權輪詢（Weighted Round Robin）：給每個服務器分配一個權重值，根據(jù)權重值決定分發(fā)請求的比例，使處理能力更強的服務器獲得更多的請求。
5. 動態(tài)負載均衡：根據(jù)服務器的實時負載情況動態(tài)地調(diào)整請求的分發(fā)策略，以適應不同負載情況下的最佳性能。

2.5、SLB

? ? 是負載均衡（Server Load Balancing）的縮寫，是一種網(wǎng)絡技術和架構，用于將請求或流量分發(fā)到多個服務器上，以實現(xiàn)負載均衡和提高系統(tǒng)的性能、可靠性和可擴展性。

? ? SLB通常由一個負載均衡器（Load Balancer）和多個后端服務器（Backend Servers）組成。負載均衡器是位于客戶端和后端服務器之間的中間設備，它接收來自客戶端的請求并根據(jù)特定的算法將請求分發(fā)到后端服務器上。負載均衡器還監(jiān)視后端服務器的狀態(tài)和負載情況，并根據(jù)配置策略動態(tài)調(diào)整請求分發(fā)，以實現(xiàn)負載均衡。

三、使用方式

3.1、架構示意圖

? ? 這里的SLB部署在內(nèi)網(wǎng)，位于業(yè)務服務和AI服務的中間，作為AI服務的入口，為AI服務提供集群化部署的能力

3.2、進入騰訊云控制臺入口

訪問地址：https://cloud.tencent.com/

點擊右上角 -》控制臺

3.3、按需選擇登錄方式

3.4、進入負載均衡管控界面

在搜索框輸入“SLB”或者“負載均衡”，點擊“負載均衡”入口

3.5、按需選擇實例

建議跟云服務器處于一樣的實例下面

3.6、新建實例

3.7、選擇配置

計費模式：建議選擇按量計費，成本會更低

地域：建議跟云服務器實例一致

網(wǎng)絡類型：此處部署在內(nèi)網(wǎng)（PS：App的入口處網(wǎng)絡類型是公網(wǎng)）

所屬網(wǎng)絡：可以復用已有的網(wǎng)絡或新建網(wǎng)絡

實例規(guī)格：選擇共享性即可滿足（共享型負載均衡實例每分鐘并發(fā)連接數(shù)50,000，每秒新建連接數(shù)5,000，每秒查詢數(shù)5,000）

所屬項目：默認項目或者自定義均可

標簽和實例名：按需設置

勾選服務協(xié)議后點擊立即購買

3.8、配置監(jiān)聽器

在實例管理列表中，選擇剛剛購買的實例，點擊操作中的配置監(jiān)聽器菜單

按需配置“HTTP/HTTPS監(jiān)聽器”或者“TCP/UDP/TCP SSL/QUIC監(jiān)聽器”

此處接入AI服務，選擇TCP監(jiān)聽器

點擊新建 -》填寫基本配置（PS：8999是對外服務的端口地址）

配置健康檢查（PS：9999是AI服務的端口）

高級選項可以根據(jù)實際業(yè)務情況進行調(diào)整

配置會話保持（PS：AI服務是無狀態(tài)的，不需要保持會話）

點擊“提交”按鈕完成監(jiān)聽器配置

3.9、調(diào)用

完成監(jiān)聽器配置之后，可以在“實例管理”列表處查看到SLB對應的VIP，并修改測試頁面的連接信息，調(diào)整為VIP和對應的監(jiān)聽端口

3.10、監(jiān)控

在“實例管理”列表處 -》選擇對應的SLB實例 -》選擇“監(jiān)控”

四、附帶說明

4.1、本篇以騰訊云的負責均衡服務作為掏磚引玉的入門介紹，對于其他的云服務商，也是大致的流程

4.2、建議開啟刪除保護，避免出現(xiàn)誤操作的情況

4.3、公網(wǎng)類型的SLB（即網(wǎng)絡入口），建議接入Web應用防火墻

4.4、在日志中心可以查詢具體的訪問日志信息以及儀表盤的大盤信息

文章來源地址http://www.zghlxwxcb.cn/news/detail-829126.html

到了這里，關于開源模型應用落地-工具使用篇-SLB（二）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！