VRRP 通信原理:
VRRP就是虛擬路由冗余協(xié)議,它的出現(xiàn)就是為了解決靜態(tài)路由的單點(diǎn)故障。
VRRP是通過(guò)一種競(jìng)選的一種協(xié)議機(jī)制,來(lái)將路由交給某臺(tái)VRRP路由。
VRRP用IP多播的方式(多播地址224.0.0.18)來(lái)實(shí)現(xiàn)高可用的通信,工作時(shí)主節(jié)點(diǎn)發(fā)包,備節(jié)點(diǎn)接收包,當(dāng)備節(jié)點(diǎn)接收不到主節(jié)點(diǎn)發(fā)的數(shù)據(jù)包時(shí)候,就啟動(dòng)接管主節(jié)點(diǎn)的資源,備節(jié)點(diǎn)可以有多個(gè),通過(guò)優(yōu)先級(jí)來(lái)進(jìn)行競(jìng)選,但一般keepalived系統(tǒng)運(yùn)維工作時(shí)是一對(duì)。
VRRP使用加密協(xié)議加密數(shù)據(jù),但keepalive官方目前還是推薦用明文的方式認(rèn)證類(lèi)型和密碼。
Keepalived 是一個(gè)基于VRRP協(xié)議來(lái)實(shí)現(xiàn)的LVS服務(wù)高可用方案,可以解決靜態(tài)路由出現(xiàn)的單點(diǎn)故障問(wèn)題。
在一個(gè)LVS服務(wù)集群中通常有主服務(wù)器(MASTER)和備份服務(wù)器(BACKUP)兩種角色的服務(wù)器,但是對(duì)外表現(xiàn)為一個(gè)虛擬IP,主服務(wù)器會(huì)發(fā)送VRRP通告信息給備份服務(wù)器,當(dāng)備份服務(wù)器收不到VRRP消息的時(shí)候,即主服務(wù)器異常的時(shí)候,備份服務(wù)器就會(huì)接管虛擬IP,繼續(xù)提供服務(wù),從而保證了高可用性。
Keepalived體系主要模塊及其作用:
keepalived體系架構(gòu)中主要有三個(gè)模塊,分別是core、check和vrrp。
●core模塊:為keepalived的核心,負(fù)責(zé)主進(jìn)程的啟動(dòng)、維護(hù)及全局配置文件的加載和解析。
●vrrp模塊:是來(lái)實(shí)現(xiàn)VRRP協(xié)議的。
●check模塊:負(fù)責(zé)健康檢查,常見(jiàn)的方式有端口檢查及URL檢查。
以下實(shí)驗(yàn)使用LVS-DR+keepalived的搶占模式實(shí)現(xiàn)高可用負(fù)載群集:
Web 服務(wù)器1:20.0.0.101(VIP 20.0.0.10)
Web 服務(wù)器2:20.0.0.102(VIP 20.0.0.10)
NFS 共享存儲(chǔ)器:20.0.0.103
LVS+keepalived 主負(fù)載調(diào)度器:20.0.0.104(VIP 20.0.0.10)
LVS+keepalived 備負(fù)載調(diào)度器:20.0.0.105(VIP 20.0.0.10)
網(wǎng)關(guān)/路由器:20.0.0.2
客戶(hù)端:192.168.116.50
一、配置NFS共享存儲(chǔ)
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
yum -y install nfs-utils rpcbind
mkdir /opt/nfs/server1 /opt/nfs/server2
chmod -R 777 /opt/nfs
vim /etc/exports
/opt/nfs 20.0.0.0/24(rw,sync)
/opt/nfs/server1 20.0.0.0/24(rw,sync)
/opt/nfs/server2 20.0.0.0/24(rw,sync)
systemctl restart rpcbind.service
systemctl restart nfs.service
檢查發(fā)布的共享策略
showmount -e
在共享目錄中添加web測(cè)試頁(yè)面:
mkdir /opt/nfs/server1 server2
echo this is web-01 ! >>/opt/nfs/server1/index.html
echo this is web-02 ! >>/opt/nfs/server2/index.html
檢查一下是否寫(xiě)入成功:
cat /opt/nfs/server1/index.htmlcat
cat /opt/nfs/server2/index.html
二.配置節(jié)點(diǎn)web服務(wù)(20.0.0.101 20.0.0.102兩臺(tái)的配置相同)
【安裝 Nginx 服務(wù)】
1、安裝依賴(lài)包
yum -y install pcre-devel zlib-devel gcc gcc-c++ make
2、創(chuàng)建運(yùn)行用戶(hù)
useradd -M -s /sbin/nologin nginx
3、編譯安裝
cd /opt
tar zxvf nginx-1.22.0.tar.gz -C /opt/
cd nginx-1.22.0/
./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module
make -j 4 && make install
4、優(yōu)化路徑
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
5、添加 Nginx 系統(tǒng)服務(wù)
vim /lib/systemd/system/nginx.service
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
[Unit]:這個(gè)部分定義了服務(wù)單元的元數(shù)據(jù)。
Description: 描述該服務(wù)單元的信息,描述為"nginx"。
After: 定義服務(wù)單元所依賴(lài)的其他單元,這里表示服務(wù)需要在網(wǎng)絡(luò)加載完成之后啟動(dòng)。
[Service]:這個(gè)部分定義了服務(wù)的運(yùn)行配置。
Type: 指定服務(wù)的類(lèi)型,這里是forking,表示服務(wù)是一個(gè)后臺(tái)進(jìn)程(通常是fork出子進(jìn)程)。
PIDFile: 指定保存主進(jìn)程ID的文件路徑,Nginx將會(huì)把主進(jìn)程ID寫(xiě)入這個(gè)文件,以便Systemd可以追蹤和管理進(jìn)程。
ExecStart: 指定啟動(dòng)服務(wù)的命令。這里是啟動(dòng)Nginx的命令/usr/local/nginx/sbin/nginx。
ExecReload: 指定重新加載配置的命令。當(dāng)執(zhí)行此命令時(shí),Systemd將發(fā)送HUP信號(hào)給主進(jìn)程,Nginx將重新加載配置文件。
ExecStop: 指定停止服務(wù)的命令。當(dāng)執(zhí)行此命令時(shí),Systemd將發(fā)送QUIT信號(hào)給主進(jìn)程,Nginx將優(yōu)雅地停止服務(wù)。
PrivateTmp: 將此項(xiàng)設(shè)置為true,表示為服務(wù)提供獨(dú)立的臨時(shí)目錄。
[Install]:這個(gè)部分定義了服務(wù)的安裝配置。
WantedBy: 指定服務(wù)所屬的目標(biāo)(target),這里是multi-user.target,表示服務(wù)在多用戶(hù)模式下啟動(dòng)。
chmod 777 /lib/systemd/system/nginx.service
systemctl start nginx.service
systemctl enable nginx.service
查看nginx服務(wù)是否啟動(dòng):
netstat -antp | grep 80
將網(wǎng)站根目錄掛載到各自的共享目錄
首先打開(kāi)nfs服務(wù):
systemctl restart rpcbind.service
systemctl restart nfs.service
mount 20.0.0.103:/opt/nfs/server1 /usr/local/nginx/html/
mount 20.0.0.103:/opt/nfs/server2 /usr/local/nginx/html/
在web01 -02上查看是否共享成功
cat /usr/local/nginx/html/index.html
cat /usr/local/nginx/html/index.html
設(shè)置回環(huán)網(wǎng)卡,虛擬ip(web-01 web-02都要設(shè)置)
cp /etc/sysconfig/network-scripts/ifcfg-lo /etc/sysconfig/network-scripts/ifcfg-lo:0
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
IPADDR=20.0.0.10
NETMASK=255.255.255.255
ONBOOT=yes
~
ifup lo:0
配置回環(huán)網(wǎng)卡完成后
ifconfig 查看一下是否配置成功
添加靜態(tài)路由(將數(shù)據(jù)包封鎖在回環(huán)網(wǎng)卡中)
#臨時(shí)配置
route add -host 20.0.0.10 dev lo:0
#永久配置
vim /etc/rc.local
/sbin/route add -host 20.0.0.10 dev lo:0
chmod +x /etc/rc.d/rc.local
調(diào)整內(nèi)核的ARP響應(yīng)參數(shù)(阻止更新VIP的MAC地址,防止發(fā)生沖突)
vim /etc/sysctl.conf
#添加
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
#加載配置文件并查看
sysctl -p
三、配置主備LVS+keepalived負(fù)載調(diào)度器(keepalived-01 ;keepalived-02)
關(guān)閉防火墻下載keepalived和ipvsadm,并修改內(nèi)核參數(shù)
systemctl stop firewalld.service 。
systemctl disable firewalld.service
setenforce 0
modprobe ip_vs
yum -y install ipvsadm keepalived
vim /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
sysctl -p
修改主負(fù)載器配置文件:
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak #改配置文件前先備份
vim keepalived.conf
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_01
#vrrp_skip_check_adv_addr
#vrrp_strict
#vrrp_garp_interval 0
#vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass abc123
}
virtual_ipaddress {
20.0.0.10
}
}
virtual_server 20.0.0.10 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 10
protocol TCP
real_server 20.0.0.101 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 20.0.0.102 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
修改備負(fù)載器配置文件(與主配置一致,只需修改以下部分) :
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_02
#vrrp_skip_check_adv_addr
#vrrp_strict
#vrrp_garp_interval 0
#vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 51
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass abc123
}
virtual_ipaddress {
20.0.0.10
}
}
virtual_server 20.0.0.10 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 10
protocol TCP
real_server 20.0.0.101 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 20.0.0.102 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
啟動(dòng)keepalived再啟動(dòng)ipvsadm(ipvsadm會(huì)自動(dòng)加載keepslived中的配置:
systemctl restart keepalived.service
ipvsadm-save > /etc/sysconfig/ipvsadm
#啟動(dòng)ipvsadm (分別添加主備負(fù)載均衡器VIP 的分發(fā)策略)
systemctl restart ipvsadm.service
ipvsadm -C ##清空規(guī)則
ipvsadm -A -t 20.0.0.10:80 -s rr
ipvsadm -a -t 20.0.0.10:80 -r 20.0.0.101:80 -g
ipvsadm -a -t 20.0.0.10:80 -r 20.0.0.102:80 -g
查看主負(fù)載和副負(fù)載均衡器:
ipvsadm -ln
訪(fǎng)問(wèn):20.0.0.10
可以將主負(fù)載器服務(wù)停止或關(guān)機(jī)(模擬宕機(jī)),繼續(xù)訪(fǎng)問(wèn) 20.0.0.10查看主備切換是否正常
腦裂現(xiàn)象的解釋和解決辦法:
1.解釋
在搶占模式中,MASTER需要定時(shí)發(fā)送報(bào)文通告BACKUP自己仍在運(yùn)作,但是當(dāng)MASTER還在運(yùn)作,但其中的線(xiàn)路或交換機(jī)等出現(xiàn)故障導(dǎo)致BACKUP不能收到通告時(shí),會(huì)認(rèn)為MASTER已經(jīng)失效,此時(shí)BACKUP搶占VIP會(huì)導(dǎo)致VIP同時(shí)存在,這就是腦裂現(xiàn)象。文章來(lái)源:http://www.zghlxwxcb.cn/news/detail-657110.html
2.解決方法
1.主備服務(wù)器之間使用雙鏈路通信;
2. 通過(guò)腳本來(lái)實(shí)時(shí)監(jiān)控主備的網(wǎng)絡(luò)狀態(tài),然后再根據(jù)腳本邏輯采取措施(關(guān)掉主服務(wù)器的keepalived服務(wù)器);
3. 簡(jiǎn)單粗暴,直接重啟服務(wù)器。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-657110.html
到了這里,關(guān)于LVS-DR+keepalived實(shí)現(xiàn)高可用負(fù)載群集的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!