KubeAdmin安裝k8s

1、集群類型

# kubernetes集群大體上分為兩類： 一主多從和多主多從
# 1、一主多從：
一臺 Master節(jié)點(diǎn)和多臺Node節(jié)點(diǎn)，搭建簡單，有單機(jī)故障分析，適合于測試環(huán)境
# 2、多主多從：
多臺 Master節(jié)點(diǎn)和多臺Node節(jié)點(diǎn)，搭建麻煩，安全性比較高，適合于生產(chǎn)環(huán)境

2、安裝方式

官方地址：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

# 方式一： kubeadm

Kubeadm 是一個K8s 部署工具，提供kubeadm init 和kubeadm join，用于快速部署Kubernetes 集群。

# 方式二：二進(jìn)制包

從github 下載發(fā)行版的二進(jìn)制包，手動部署每個組件，組成Kubernetes 集群。
Kubeadm 降低部署門檻，但屏蔽了很多細(xì)節(jié)，遇到問題很難排查。如果想更容易可控，推薦使用二進(jìn)制包部署Kubernetes 集群，雖然手動部署麻煩點(diǎn)，期間可以學(xué)習(xí)很多工作原理，也利于后期維護(hù)。

K8S API:

https://kubernetes.io/zh-cn/docs/reference/using-api/

一、準(zhǔn)備環(huán)境

1、部署軟件、系統(tǒng)要求

2、節(jié)點(diǎn)規(guī)劃

• IP建議采用192網(wǎng)段，避免與kubernetes內(nèi)網(wǎng)沖突

二、kubeadm安裝k8s

服務(wù)器配置至少是2G2核的。如果不是則可以在集群初始化后面增加 --ignore-preflight-errors=NumCPU

1、內(nèi)核優(yōu)化腳本(所有機(jī)器)

[root@k8s-m-01 ~]# cat base.sh  
#!/bin/bash

# 1、修改主機(jī)名和網(wǎng)卡
hostnamectl set-hostname $1 &&\
sed -i "s#111#$2#g" /etc/sysconfig/network-scripts/ifcfg-eth[01] &&\
systemctl restart network &&\
# 2、關(guān)閉selinux和防火墻和ssh連接
setenforce 0 &&\
sed -i 's#enforcing#disabled#g' /etc/selinux/config &&\
systemctl disable --now firewalld &&\
# 如果iptables沒有安裝就不需要執(zhí)行
# systemctl disable --now  iptables &&\
sed -i 's/#UseDNS yes/UseDNS no/g' /etc/ssh/sshd_config &&\
systemctl restart sshd &&\
# 3、關(guān)閉swap分區(qū)
# 一旦觸發(fā) swap，會導(dǎo)致系統(tǒng)性能急劇下降，所以一般情況下，K8S 要求關(guān)閉 swap
# cat /etc/fstab 
# 注釋最后一行swap，如果沒有安裝swap就不需要
swapoff -a &&\
#忽略swap
echo 'KUBELET_EXTRA_ARGS="--fail-swap-on=false"' > /etc/sysconfig/kubelet &&\ 

# 4、修改本機(jī)hosts文件
cat >>/etc/hosts <<EOF
192.168.15.111  k8s-m-01 m1
192.168.15.112  k8s-n-01 n1
192.168.15.113  k8s-n-02 n2
EOF

#  5、配置鏡像源（國內(nèi)源）
# 默認(rèn)情況下，CentOS 使用的是官方 yum 源，所以一般情況下在國內(nèi)使用是非常慢，所以我們可以替換成 國內(nèi)的一些比較成熟的 yum 源，例如：清華大學(xué)鏡像源，網(wǎng)易云鏡像源等等
rm -rf /ect/yum.repos.d/* &&\
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo &&\
curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo &&\
yum clean all &&\
yum makecache &&\
# 6、更新系統(tǒng)
#查看內(nèi)核版本，若內(nèi)核高于4.0，可不加--exclud選項(xiàng)
yum update -y --exclud=kernel* &&\
# 由于 Docker 運(yùn)行需要較新的系統(tǒng)內(nèi)核功能，例如 ipvs 等等，所以一般情況下，我們需要使用 4.0+以上版 本的系統(tǒng)內(nèi)核要求是 4.18+，如果是 CentOS 8 則不需要內(nèi)核系統(tǒng)更新
# 7、安裝基礎(chǔ)常用軟件，是為了方便我們的日常使用
yum install wget expect vim net-tools ntp bash-completion ipvsadm ipset jq iptables conntrack sysstat libseccomp ntpdate -y &&\
# 8、更新系統(tǒng)內(nèi)核
#如果是centos8則不需要升級內(nèi)核
cd /opt/ &&\
wget https://elrepo.org/linux/kernel/el7/x86_64/RPMS/kernel-lt-5.4.137-1.el7.elrepo.x86_64.rpm &&\
wget https://elrepo.org/linux/kernel/el7/x86_64/RPMS/kernel-lt-devel-5.4.137-1.el7.elrepo.x86_64.rpm &&\
# 如果內(nèi)核低于4.0會有一些bug，導(dǎo)致生產(chǎn)環(huán)境中，如果流量很大的時候，會出現(xiàn)流量抖動現(xiàn)象
# 官網(wǎng)https://elrepo.org/linux/kernel/el7/x86_64/RPMS/

# 9、安裝系統(tǒng)內(nèi)容
yum linstall /opt/*.rpm -y &&\  
# 10、調(diào)到默認(rèn)啟動
grub2-set-default  0 && grub2-mkconfig -o /etc/grub2.cfg &&\
# 11、查看當(dāng)前默認(rèn)啟動的內(nèi)核 
grubby --default-kernel &&\
reboot
# 安裝完成就是5.4內(nèi)核

2、 免密腳本(所有機(jī)器)

# 1、免密
[root@k8s-master-01 ~]# ssh-keygen -t rsa
[root@k8s-master-01 ~]# for i in m1 n1 n2;do ssh-copy-id -i ~/.ssh/id_rsa.pub root@$i;done
# 方式二：
root@openvpn ~]# ssh-keygen
[root@openvpn ~]# cat ssh-jump.sh  
#!/bin/bash
for i in 'm1''n1' 'n2'
do
expect -c "
spawn ssh-copy-id -i root@$i
expect {
\"(yes/no)\" {send \"yes\r\";exp_continue}
\"password\" {send \"123\r\";exp_continue}
}
"
done

# 在集群當(dāng)中，時間是一個很重要的概念，一旦集群當(dāng)中某臺機(jī)器時間跟集群時間不一致，可能會導(dǎo)致集群面 臨很多問題。所以，在部署集群之前，需要同步集群當(dāng)中的所有機(jī)器的時間
方式一：時間同步ntpdate
# 2、時間同步寫入定時任務(wù) crontab -e
# 每隔5分鐘刷新一次
*/5 * * * * /usr/sbin/ntpdate ntp.aliyun.com &> /dev/null
方式二：時間同步chrony
[root@k8s-m-01 ~]# yum -y install chrony
[root@k8s-m-01 ~]# systemctl enable --now chronyd
[root@k8s-m-01 ~]# date  #三臺機(jī)器時間是否一樣
Mon Aug  2 10:44:18 CST 2021

3、安裝IPVS和內(nèi)核優(yōu)化(所有機(jī)器)

kubernetes中service有兩種代理模式，一種是iptables，一種是ipvs

兩者相比，ipvs性能高，但是如果使用，需要手動加載ipvs模塊文章來源地址http://www.zghlxwxcb.cn/news/detail-691158.html

# 1、安裝 IPVS 、加載 IPVS 模塊 （所有節(jié)點(diǎn)）
[root@k8s-m-01 ~]# yum install ipset ipvsadm  #如果沒有下載這2個命令
ipvs 是系統(tǒng)內(nèi)核中的一個模塊，其網(wǎng)絡(luò)轉(zhuǎn)發(fā)性能很高。一般情況下，我們首選 ipvs
[root@k8s-n-01 ~]# vim /etc/sysconfig/modules/ipvs.modules 
#!/bin/bash 
ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_fo ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack" 

for kernel_module in ${ipvs_modules}; do 
/sbin/modinfo -F filename ${kernel_module} > /dev/null 2>&1 
if [ $? -eq 0 ]; then 
/sbin/modprobe ${kernel_module} 
fi 
done 
# 2、授權(quán)（所有節(jié)點(diǎn)）
[root@k8s-n-01 ~]# chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep ip_vs

# 3、內(nèi)核參數(shù)優(yōu)化（所有節(jié)點(diǎn)）
加載IPVS 模塊、生效配置
內(nèi)核參數(shù)優(yōu)化的主要目的是使其更適合 kubernetes 的正常運(yùn)行
[root@k8s-n-01 ~]# vim /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1 
net.bridge.bridge-nf-call-iptables = 1 
# 可以之間修改這兩個
net.bridge.bridge-nf-call-ip6tables = 1 
# 可以之間修改這兩個
fs.may_detach_mounts = 1 
vm.overcommit_memory=1 
# 不檢查物理內(nèi)存是否夠用
vm.swappiness=0 
# 禁止使用 swap 空間，只有當(dāng)系統(tǒng) OOM 時才允許使用它
vm.panic_on_oom=0 
# 開啟 OOM
fs.inotify.max_user_watches=89100 
fs.file-max=52706963  開啟 OOM
fs.nr_open=52706963 
net.ipv4.tcp_keepalive_time = 600 
net.ipv4.tcp.keepaliv.probes = 3 
net.ipv4.tcp_keepalive_intvl = 15 
net.ipv4.tcp.max_tw_buckets = 36000 
net.ipv4.tcp_tw_reuse = 1 
net.ipv4.tcp.max_orphans = 327680 
net.ipv4.tcp_orphan_retries = 3 
net.ipv4.tcp_syncookies = 1 
net.ipv4.tcp_max_syn_backlog = 16384 
net.ipv4.ip_conntrack_max = 65536 
net.ipv4.tcp_max_syn_backlog = 16384 
net.ipv4.top_timestamps = 0 
net.core.somaxconn = 16384
# 立即生效 
sysctl --system

4、安裝Docker(所有機(jī)器)

[root@k8s-n-01 ~]# vim docker.sh 
# step 1: 安裝必要的一些系統(tǒng)工具
sudo yum install -y yum-utils device-mapper-persistent-data lvm2 &&\
# Step 2: 添加軟件源信息
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo &&\
# Step 3
sudo sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo &&\
# Step 4: 更新并安裝Docker-CE
sudo yum makecache fast &&\
sudo yum -y install docker-ce &&\
# Step 4: 開啟Docker服務(wù)
systemctl enable --now docker.service &&\
#  Step 5: Docker加速優(yōu)化服務(wù)
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://k7eoap03.mirror.aliyuncs.com"]
}
EOF

5、安裝kubernetes(所有機(jī)器)

# 1、安裝kubernetes（所有節(jié)點(diǎn)）

# 阿里源
[root@k8s-n-02 yum.repos.d]# cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
setenforce 0
yum install -y kubelet kubeadm kubectl 
# 版本是kubelet-1.21.3 此處指定版本下載為了與下邊初始化節(jié)點(diǎn)版本對應(yīng)
yum install kubectl-1.21.3 kubeadm-1.21.3 kubelet-1.21.3 -y  &&\
# 4、此時只需開機(jī)自啟，無需啟動，因?yàn)檫€未初始化
systemctl enable --now kubelet.service
# 5、查看版本
[root@k8s-m-01 ~]# kubectl version 
Client Version: version.Info{Major:"1", Minor:"21", GitVersion:"v1.21.3",

6、m01主節(jié)點(diǎn)初始化配置

1、查看kubernetes所需要的鏡像

# 1、查看鏡像列表
[root@k8s-m-01 ~]# kubeadm config images list
k8s.gcr.io/kube-apiserver:v1.21.3
k8s.gcr.io/kube-controller-manager:v1.21.3
k8s.gcr.io/kube-scheduler:v1.21.3
k8s.gcr.io/kube-proxy:v1.21.3
k8s.gcr.io/pause:3.4.1
k8s.gcr.io/etcd:3.4.13-0
k8s.gcr.io/coredns/coredns:v1.8.0
quay.io/coreos/flannel:v0.14.0

2、部署m01主節(jié)點(diǎn)

# 1、初始化master節(jié)點(diǎn)
kubeadm init \
--image-repository=registry.aliyuncs.com/google_containers \
--kubernetes-version=v1.21.3 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16

# 過程中可監(jiān)控初始化日志，出現(xiàn)successfully即為成功！
# tailf /var/log/messages
[root@k8s-master1 ~] cat /var/log/messages | grep successfully
# Mar 24 21:02:07 k8s-master1 containerd: time="2021-03-24T21:02:07.063840628+08:00" level=info msg="containerd successfully booted in 0.181480s"

# 2、 初始化完成查看kubernetes
[root@k8s-m-01 ~]# systemctl status kubelet.service

# 3、配置 kubernetes 用戶信息
master節(jié)點(diǎn)執(zhí)行
# 建立用戶集群權(quán)限 
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

# 4、如果使用root用戶，則添加至環(huán)境變量
# 臨時生效
[root@k8s-m-01 ~]# export KUBECONFIG=/etc/kubernetes/admin.conf
# 永久生效
[root@k8s-m-01 ~]# cat /etc/profile.d/kubernetes.sh
 export KUBECONFIG=/etc/kubernetes/admin.conf
[root@k8s-m-01 ~]# source /etc/profile

# 5、增加命令提示（選做）
所有節(jié)點(diǎn)執(zhí)行
yum install -y bash-completion
source /usr/share/bash-completion/bash_completion
source <(kubectl completion bash)
echo "source <(kubectl completion bash)" >> ~/.bashrc

7、kubernetes網(wǎng)絡(luò)插件calico

kubernetes 需要使用第三方的網(wǎng)絡(luò)插件來實(shí)現(xiàn) kubernetes 的網(wǎng)絡(luò)功能，這樣一來，安裝網(wǎng)絡(luò)插件成為必要前提
第三方網(wǎng)絡(luò)插件有多種，常用的有 flanneld、calico 和 cannel（flanneld+calico），不同的網(wǎng)絡(luò)組件，都提供基本的網(wǎng)絡(luò)功能，為各個 Node 節(jié)點(diǎn)提供 IP 網(wǎng)絡(luò)等

1、安裝集群網(wǎng)絡(luò)插件（主節(jié)點(diǎn)）

# 下載calico.yaml #推薦
[root@pengfei-master1 ~]# wget https://docs.projectcalico.org/manifests/calico.yaml
[root@pengfei-master1 ~]# kubectl apply -f  calico.yaml

2、檢查集群初始化狀態(tài)

# 方式一：
[root@k8s-m-01 ~]# kubectl get node  
NAME       STATUS   ROLES                  AGE   VERSION
k8s-m-01   Ready    control-plane,master   16m   v1.21.3
# 方式二：
[root@pengfei-master1 ~]# kubectl get pod -n kube-system
NAME                                       READY   STATUS    RESTARTS   AGE
calico-kube-controllers-74677b4c5f-8ql22   1/1     Running   0          3m42s
calico-node-46bld                          1/1     Running   0          3m42s
calico-node-bc9jh                          1/1     Running   0          3m42s
calico-node-npc7r                          1/1     Running   0          3m42s
coredns-7f8cbcb969-hwpgs                   1/1     Running   0          76m
coredns-7f8cbcb969-j2pn4                   1/1     Running   0          76m
etcd-pengfei-master1                       1/1     Running   0          76m
kube-apiserver-pengfei-master1             1/1     Running   0          76m
kube-controller-manager-pengfei-master1    1/1     Running   0          76m
kube-proxy-5v4ll                           1/1     Running   0          76m
kube-proxy-r9jds                           1/1     Running   0          69m
kube-proxy-s7kd6                           1/1     Running   1          70m
kube-scheduler-pengfei-master1             1/1     Running   0          76m          <none>
# READY狀態(tài)為1/1即為成功！

8、將其他節(jié)點(diǎn)加入集群

# 1、主節(jié)點(diǎn)創(chuàng)建集群
node節(jié)點(diǎn)要查看token，主節(jié)點(diǎn)生成token可重復(fù)執(zhí)行查看，不會改變
[root@k8s-m-01 ~]# kubeadm token create --print-join-command
kubeadm join 192.168.15.111:6443 --token m8g1q7.eqxte0aao5vgalim --discovery-token-ca-cert-hash sha256:8db2681f9c8f812e0d650f77abdc02f6277b5a45d93c4f9b81ebf424676001d0

# 2、從節(jié)點(diǎn)加入集群
[root@k8s-n-01 yum.repos.d]# kubeadm join 192.168.15.111:6443 --token m8g1q7.eqxte0aao5vgalim --discovery-token-ca-cert-hash sha256:8db2681f9c8f812e0d650f77abdc02f6277b5a45d93c4f9b81ebf424676001d0

[root@k8s-n-02 yum.repos.d]# kubeadm join 192.168.15.111:6443 --token m8g1q7.eqxte0aao5vgalim --discovery-token-ca-cert-hash sha256:8db2681f9c8f812e0d650f77abdc02f6277b5a45d93c4f9b81ebf424676001d0

#3、NDS測試
[root@k8s-m-01 ~]# kubectl run test -it --rm --image=busybox:1.28.3
If you don't see a command prompt, try pressing enter.
/ # nslookup kubernetes #輸入這條命令，成功后就是以下內(nèi)容
Server:    10.96.0.10
Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local

Name:      kubernetes
Address 1: 10.96.0.1 kubernetes.default.svc.cluster.local
/ #
#出現(xiàn)以上界面成功

node節(jié)點(diǎn)加入集群失敗，狀態(tài)為NotReady 解決方法

#node節(jié)點(diǎn)與master節(jié)點(diǎn)版本不一致
[root@k8s-m-01 ~]#  kubectl get node
NAME       STATUS     ROLES                  AGE      VERSION
k8s-m-01   Ready    control-plane,master     16m      v1.21.3
k8s-n-01   NotReady   <none>                 22m      v1.20.2
k8s-n-02   NotReady   <none>                 22m      v1.20.2

解決辦法：
# 默認(rèn)下載是最新版本，難免出現(xiàn)版本不一致的問題，所以下載時指定同一版本才行
# 1.從節(jié)點(diǎn)刪除下載版本重新指定版本格式：
yum remove kubectl kubeadm kubelet -y
yum install kubectl-1.21.3 kubeadm-1.21.3 kubelet-1.21.3 -y

#2.設(shè)置開機(jī)自啟
systemctl enable --now kubelet

#3.重置nonde節(jié)點(diǎn)配置（因?yàn)樯鲜鲆呀?jīng)加入過集群，會報錯證書，配置文件，端口號已存在，需要格式化子節(jié)點(diǎn)配置）
[ERROR FileAvailable--etc-kubernetes-kubelet.conf]: /etc/kubernetes/kubelet.conf already exists
[ERROR Port-10250]: Port 10250 is in use
[ERROR FileAvailable--etc-kubernetes-pki-ca.crt]: /etc/kubernetes/pki/ca.crt already exists
[root@k8s-m-01 ~]#  kubectl reset  #報錯以上內(nèi)容執(zhí)行此命令格式化子節(jié)點(diǎn)

#4.從集群移除狀態(tài)為notready的node節(jié)點(diǎn)
[root@k8s-m-01 ~]#  kubectl delete node n2

#5.重新將node節(jié)點(diǎn)加入集群，此時需注意token值是否相同，如果多次生成token值，需確認(rèn)最后生成的token值
注：此處做好在master節(jié)點(diǎn)重新生成一次token值用來node節(jié)點(diǎn)加入集群使用
[root@k8s-m-01 ~]#  kubeadm token create    --print-join-command 
kubeadm join 192.168.15.111:6443 --token fm0387.iqixomz5jmsukwsi     --discovery-token-ca-cert-hash sha256:d8ff83ffed5967000034d07b3da738ae4f1f0254e8417bb30c21f3ed15ac5d18
注：將生成結(jié)果在node節(jié)點(diǎn)執(zhí)行

#6.將node節(jié)點(diǎn)重新加入集群
[root@k8s-m-01 ~]#  kubeadm join 192.168.15.111:6443 --token fm0387.iqixomz5jmsukwsi     --discovery-token-ca-cert-hash sha256:d8ff83ffed5967000034d07b3da738ae4f1f0254e8417bb30c21f3ed15ac5d18
# 7、查看
[root@k8s-m-01 ~]#  kubectl get node
NAME       STATUS     ROLES                  AGE      VERSION
k8s-m-01   Ready    control-plane,master     16m      v1.21.3
k8s-n-01   Ready      <none>                 16m      v1.21.3
k8s-n-02   Ready      <none>                 16m      v1.21.3
# 所以節(jié)點(diǎn)都在ready狀態(tài)，代表集群搭建成功

八、如果測試成功，無需執(zhí)行以下命令

node節(jié)點(diǎn)加入集群失敗，狀態(tài)為NotReady 解決方法

# 1、加入集群報錯解決
 1> 報錯原因1
[ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1

# 解決方法： echo "1" >/proc/sys/net/bridge/bridge-nf-call-iptables

# 2、然后重新生成，再次測試，加入集群
[root@k8s-m-01 ~]#  kubeadm token create    --print-join-command 
kubeadm join 192.168.15.111:6443 --token fm0387.iqixomz5jmsukwsi     --discovery-token-ca-cert-hash sha256:d8ff83ffed5967000034d07b3da738ae4f1f0254e8417bb30c21f3ed15ac5d18
注：將生成結(jié)果在node節(jié)點(diǎn)執(zhí)行

# 3、將node節(jié)點(diǎn)重新加入集群
[root@k8s-m-01 ~]#  kubeadm join 192.168.15.111:6443 --token fm0387.iqixomz5jmsukwsi     --discovery-token-ca-cert-hash sha256:d8ff83ffed5967000034d07b3da738ae4f1f0254e8417bb30c21f3ed15ac5d18

2> 報錯原因1
從節(jié)點(diǎn)加入集群可能會出現(xiàn)如下報錯：
[ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1
[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`
To see the stack trace of this error execute with --v=5 or higher

PS：前提安裝Docker+啟動，再次嘗試加入節(jié)點(diǎn)！
# 1、報錯原因：
swap沒關(guān)，一旦觸發(fā) swap，會導(dǎo)致系統(tǒng)性能急劇下降，所以一般情況下，所以K8S 要求關(guān)閉 swap
# 2、解決方法：
1>  執(zhí)行以下三條命令后再次執(zhí)行添加到集群命令：
modprobe br_netfilter
echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables
echo 1 > /proc/sys/net/ipv4/ip_forward

2> 追加 --ignore-preflight-errors=Swap 參數(shù)重新執(zhí)行即可！
[root@k8s-n-1 ~] kubeadm join 192.168.15.11:6443 --token iypm65.p5nmdzzw1zifxy6c --discovery-token-ca-cert-hash sha256:8bdbe324980e3350aaa3b9cea58edf576dc0a6d937da6b7bff6dbe6a01e0b525 --ignore-preflight-errors=Swap

3> 報錯原因3
# 1、報錯原因：
可能是內(nèi)核參數(shù)忘記優(yōu)化所有節(jié)點(diǎn)都需優(yōu)化
# 2、解決方法：
回到上面第七小節(jié)，復(fù)制粘貼優(yōu)化參數(shù)即可： cat > /etc/sysctl.d/k8s.conf <<EOF

4> 報錯原因4
ode節(jié)點(diǎn)加入集群失敗，狀態(tài)為NotReady
情況1：軟件版本不一致
[root@k8s-m-01 ~]#  kubectl get node
NAME       STATUS     ROLES                  AGE      VERSION
k8s-m-01   Ready    control-plane,master     16m      v1.21.2
k8s-n-01   NotReady   <none>                 22m      v1.20.2
k8s-n-02   NotReady   <none>                 22m      v1.20.2

# 1、原因分析：
默認(rèn)下載是最新版本，難免出現(xiàn)版本不一致的問題，所以下載時指定同一版本才行
# 2、解決方法：
yum install kubectl-1.21.2 kubeadm-1.21.2 kubelet-1.21.2 -y	# 主從節(jié)點(diǎn)安裝指定版本格式
kubectl reset	# 重新初始化
kubeadm join 192.168.15.111:6443 --token fm0387.iqixomz5jmsukwsi     --discovery-token-ca-cert-hash sha256:d8ff83ffed5967000034d07b3da738ae4f1f0254e8417bb30c21f3ed15ac5d18	# 重新將node節(jié)點(diǎn)加入集群

# PS：查看token值命令
[root@k8s-m-01 ~]# kubeadm token list
kubeadm join 192.168.15.111:6443 --token fm0387.iqixomz5jmsukwsi     --discovery-token-ca-cert-hash sha256:d8ff83ffed5967000034d07b3da738ae4f1f0254e8417bb30c21f3ed15ac5d18 
8ff83ffed5967000034d07b3da738ae4f1f0254e8417bb30c21f3ed15ac5d18

情況2：軟件版本一致，touken值可能不對
[root@k8s-m-01 ~]#  kubectl get node
NAME       STATUS     ROLES                  AGE      VERSION
k8s-m-01   Ready    control-plane,master     16m      v1.21.3
k8s-n-01   NotReady   <none>                 22m      v1.20.2
k8s-n-02   NotReady   <none>                 22m      v1.20.2

# node節(jié)點(diǎn)為notready狀態(tài)，加入從節(jié)點(diǎn)時報錯：
[ERROR FileAvailable--etc-kubernetes-kubelet.conf]: /etc/kubernetes/kubelet.conf already exists
[ERROR Port-10250]: Port 10250 is in use
[ERROR FileAvailable--etc-kubernetes-pki-ca.crt]: /etc/kubernetes/pki/ca.crt already exists
# 原因分析：因?yàn)槎啻紊芍鞴?jié)點(diǎn)的token值，導(dǎo)致token值加入不一致或輸入錯誤

# 解決方法：
# 從集群移除狀態(tài)為notready的node節(jié)點(diǎn)
[root@k8s-m-01 ~]#  kubectl delete n2

# node節(jié)點(diǎn)重置touken值以及證書端口號等信息
[root@k8s-n-01 ~]#  kubeadm reset
[root@k8s-n-02 ~]#  kubeadm reset

# 主節(jié)點(diǎn)重新創(chuàng)建token
[root@k8s-m-01 ~]#  kubeadm token create    --print-join-command 
kubeadm join 192.168.15.111:6443 --token fm0387.iqixomz5jmsukwsi     --discovery-token-ca-cert-hash sha256:d8ff83ffed5967000034d07b3da738ae4f1f0254e8417bb30c21f3ed15ac5d18 

# 將node節(jié)點(diǎn)重新加入集群
kubeadm join 192.168.15.111:6443 --token fm0387.iqixomz5jmsukwsi     --discovery-token-ca-cert-hash sha256:d8ff83ffed5967000034d07b3da738ae4f1f0254e8417bb30c21f3ed15ac5d18

# 報錯 3、STATUS 狀態(tài)是Healthy
[root@k8s-m-01 ~]# kubectl get cs
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME                 STATUS      MESSAGE                                                                                       ERROR
scheduler            Unhealthy   Get "http://127.0.0.1:10251/healthz": dial tcp 127.0.0.1:10251: connect: connection refused   
controller-manager   Unhealthy   Get "http://127.0.0.1:10252/healthz": dial tcp 127.0.0.1:10252: connect: connection refused   
etcd-0               Healthy     {"health":"true"}    
1、解決方式
[root@k8s-m-01 ~]# vim /etc/kubernetes/manifests/kube-controller-manager.yaml 
 #- --port=0
[root@k8s-m-01 ~]# vim /etc/kubernetes/manifests/kube-scheduler.yaml 
 #- --port=0
 [root@k8s-m-01 ~]# systemctl restart kubelet.service

 2、查看狀態(tài)
    [root@k8s-m-01 ~]# kubectl get cs
    Warning: v1 ComponentStatus is deprecated in v1.19+
    NAME                 STATUS    MESSAGE             ERROR
    controller-manager   Healthy   ok                  
    scheduler            Healthy   ok                  
    etcd-0               Healthy   {"health":"true"}  

九、 部署圖形化頁面kuborad

# 1、簡介
Kuboard，是一款免費(fèi)的 Kubernetes 圖形化管理工具，Kuboard 力圖幫助用戶快速在 Kubernetes 上落地微服務(wù)

# 2、安裝
[root@k8s-master-01 ~]# kubectl apply -f https://kuboard.cn/install-script/kuboard.yaml
[root@k8s-master-01 ~]# kubectl apply -f https://addons.kuboard.cn/metrics-server/0.3.6/metrics-server.yaml

            STATUS    MESSAGE             ERROR
controller-manager   Healthy   ok                  
scheduler            Healthy   ok                  
etcd-0               Healthy   {"health":"true"}  

#### 九、 部署圖形化頁面kuborad

```bash
# 1、簡介
Kuboard，是一款免費(fèi)的 Kubernetes 圖形化管理工具，Kuboard 力圖幫助用戶快速在 Kubernetes 上落地微服務(wù)

# 2、安裝
[root@k8s-master-01 ~]# kubectl apply -f https://kuboard.cn/install-script/kuboard.yaml
[root@k8s-master-01 ~]# kubectl apply -f https://addons.kuboard.cn/metrics-server/0.3.6/metrics-server.yaml

到了這里，關(guān)于02 kubeadm部署k8s的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！