準(zhǔn)備環(huán)境，必須是同一個(gè)云服務(wù)廠商，如：華為，阿里、騰訊等，不要存在跨平臺(tái)安裝K8S，跨平臺(tái)安裝需要處理網(wǎng)絡(luò)隧道才能實(shí)現(xiàn)所有節(jié)點(diǎn)在一個(gè)網(wǎng)絡(luò)集群中，這里推薦使用同一家云服務(wù)廠商安裝即可 這里使用centos7進(jìn)行安裝：
必須先開通端口 2380 2379 10250 10257 10259 6443 否則會(huì)網(wǎng)絡(luò)卡死（主節(jié)點(diǎn)主機(jī)安裝即可）
開通安全組端口：
2376/tcp、2379/tcp、2380/tcp、6443/tcp、8472/udp、9099/tcp、10250/tcp、10254/tcp、30000-32767/tcp、udp
1、升級(jí)linux內(nèi)核版本，提高性能：
CentOS 允許使用 ELRepo，這是一個(gè)第三方倉(cāng)庫(kù)，可以將內(nèi)核升級(jí)到最新版本。
在 CentOS 7 上啟用 ELRepo 倉(cāng)庫(kù)，運(yùn)行如下命令：
# 導(dǎo)入該源的秘鑰
rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
# 啟用該源倉(cāng)庫(kù) 如果失敗用下方
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm
# 查看有哪些內(nèi)核版本可供安裝
yum --disablerepo="*" --enablerepo="elrepo-kernel" list available
[root@VM-12-2-centos ~]# yum --disablerepo="*" --enablerepo="elrepo-kernel" list available
已加載插件：fastestmirror, langpacks
Loading mirror speeds from cached hostfile
Could not retrieve mirrorlist http://mirrors.elrepo.org/mirrors-elrepo-kernel.el7 error was
12: Timeout on http://mirrors.elrepo.org/mirrors-elrepo-kernel.el7: (28, 'Connection timed out after 30001 milliseconds')
* elrepo-kernel: elrepo.org
可安裝的軟件包
kernel-lt-devel.x86_64 5.4.258-1.el7.elrepo elrepo-kernel
kernel-lt-doc.noarch 5.4.258-1.el7.elrepo elrepo-kernel
kernel-lt-headers.x86_64 5.4.258-1.el7.elrepo elrepo-kernel
kernel-lt-tools.x86_64 5.4.258-1.el7.elrepo elrepo-kernel
kernel-lt-tools-libs.x86_64 5.4.258-1.el7.elrepo elrepo-kernel
kernel-lt-tools-libs-devel.x86_64 5.4.258-1.el7.elrepo elrepo-kernel
kernel-ml.x86_64 6.5.7-1.el7.elrepo elrepo-kernel
kernel-ml-devel.x86_64 6.5.7-1.el7.elrepo elrepo-kernel
kernel-ml-doc.noarch 6.5.7-1.el7.elrepo elrepo-kernel
kernel-ml-headers.x86_64 6.5.7-1.el7.elrepo elrepo-kernel
kernel-ml-tools.x86_64 6.5.7-1.el7.elrepo elrepo-kernel
kernel-ml-tools-libs.x86_64 6.5.7-1.el7.elrepo elrepo-kernel
kernel-ml-tools-libs-devel.x86_64 6.5.7-1.el7.elrepo elrepo-kernel
perf.x86_64 5.4.258-1.el7.elrepo elrepo-kernel
python-perf.x86_64 5.4.258-1.el7.elrepo elrepo-kernel
選擇版本安裝，推薦使用 安裝的長(zhǎng)期穩(wěn)定版本
# 安裝的是主線版本，該版本比較激進(jìn)，慎重選擇
yum --enablerepo=elrepo-kernel install kernel-ml -y
# 安裝的長(zhǎng)期穩(wěn)定版本，穩(wěn)定可靠
yum --enablerepo=elrepo-kernel install kernel-lt -y
設(shè)置 GRUB 默認(rèn)升級(jí)的內(nèi)核版本
vi /etc/default/grub
GRUB_TIMEOUT=0 #設(shè)置為0
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=0 #這里的saved改為0即可，重啟后，默認(rèn)就是你上次所選的版本了。
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="rhgb quiet"
GRUB_DISABLE_RECOVERY="true"
執(zhí)行命令讓配置生效：
# 配置項(xiàng)生效
grub2-mkconfig -o /boot/grub2/grub.cfg
# 重啟主機(jī)
reboot
測(cè)試是否升級(jí)完成
uname -r
調(diào)整系統(tǒng)臨時(shí)區(qū) — 如果已經(jīng)設(shè)置時(shí)區(qū)，所有機(jī)器都要配置
1）設(shè)置系統(tǒng)時(shí)區(qū)為中國(guó)/上海
timedatectl set-timezone Asia/Shanghai
2）將當(dāng)前的 UTC 時(shí)間寫入硬件時(shí)鐘
timedatectl set-local-rtc 0
3）重啟依賴于系統(tǒng)時(shí)間的服務(wù)
systemctl restart rsyslog
systemctl restart crond
安裝必要依賴
yum update
yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git iproute lrzsz bash-completion tree bridge-utils unzip bind-utils gcc
關(guān)閉firewalld和selinux（在k8s集群master和node上都進(jìn)行操作）
#關(guān)閉防火墻
systemctl stop firewalld
systemctl disable firewalld
#關(guān)閉selinux防火墻
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
setenforce 0
getenforce
關(guān)閉交換分區(qū)
swapoff -a
cp /etc/fstab /etc/fstab_bak
cat /etc/fstab_bak |grep -v swap > /etc/fstab
修改內(nèi)核參數(shù) 網(wǎng)絡(luò)轉(zhuǎn)發(fā)
cat <<EOF >> /etc/sysctl.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_nonlocal_bind = 1
net.ipv4.ip_forward = 1
vm.swappiness=0
EOF
sysctl -p 讓參數(shù)生效到內(nèi)核里面
sysctl -p
可能出現(xiàn)異常
sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-ip6tables: 沒有那個(gè)文件或目錄
sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-iptables: 沒有那個(gè)文件或目錄
解決 加載相關(guān)模塊：
modprobe br_netfilter
再執(zhí)行使其生效
sysctl -p
安裝docker
#卸載podman軟件（可以使用rpm -qa|grep docker）
yum remove docker
#下載docker-ce源(國(guó)外可使用阿里源)
curl https://download.docker.com/linux/centos/docker-ce.repo -o /etc/yum.repos.d/docker-ce.repo
# 直接使用阿里deocker-ce源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
注意k8s同docker有版本對(duì)應(yīng)：以下版本匹配
docker官網(wǎng)指定版本安裝格式
yum install docker-ce-<VERSION_STRING> docker-ce-cli-<VERSION_STRING> containerd.io docker-compose-plugin
# 指定docker版本 20.10.12 這里安裝k8s 1.23.6
yum install docker-ce-20.10.12 docker-ce-cli-20.10.12 containerd.io docker-compose-plugin
配置docker這里使用阿里鏡像源，拉取鏡像快
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://yxt.mirror.aliyuncs.com"],
"exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
# 配置生效
systemctl daemon-reload
# 重啟docker
systemctl restart docker
公網(wǎng)環(huán)境安裝，k8s需要構(gòu)建內(nèi)部的局域網(wǎng)環(huán)境，可以使用配置主機(jī)虛擬網(wǎng)卡實(shí)現(xiàn)
#注意替換你的公網(wǎng)IP進(jìn)去 IPADDR=公網(wǎng)IP
cat > /etc/sysconfig/network-scripts/ifcfg-eth0:1 <<EOF
NAME=eth0:1
DEVICE=eth0:1
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NETMASK=255.255.255.0
IPADDR=1.2.3.4
EOF
或者直接使用ifconfig配置
ifconfig eth0:1 1.2.3.4 netmask 255.255.255.0 promisc
使用ifconfig查詢網(wǎng)卡是否生效，如沒有生效可以重新網(wǎng)卡
systemctl restart network.service
systemctl restart network
安裝kubadm，kubctl，kublet軟件 添加kubernetes yum軟件阿里鏡像源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
安裝kubeadm，kubelet，kubectl，并且指定版本，因?yàn)?.23的版本默認(rèn)運(yùn)行時(shí)環(huán)境不是docker了
yum install -y kubeadm-1.23.6 kubelet-1.23.6 kubectl-1.23.6
公網(wǎng)環(huán)境安裝完成后修改kubelet將公網(wǎng)IP配置 增加：–node-ip=公網(wǎng)IP
vim /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf
# 在末尾添加參數(shù) --node-ip=node節(jié)點(diǎn)的公網(wǎng)IP --node-ip=1.2.3.4
# Note: This dropin only works with kubeadm and kubelet v1.11+
[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
# This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically
EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
# This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use
# the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file.
EnvironmentFile=-/etc/sysconfig/kubelet
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS --node-ip=1.2.3.4
# 讓配置生效
systemctl daemon-reload
#啟動(dòng) kubelet / 重啟 kubelet
systemctl enable kubelet && systemctl start kubelet
#systemctl restart kubelet
安裝完成后這里必須先加載k8s初始化數(shù)據(jù)將公網(wǎng)IP配置（重要）：
kubelet ：運(yùn)行在cluster，負(fù)責(zé)啟動(dòng)pod管理容器
kubeadm ：k8s快速構(gòu)建工具，用于初始化cluster
kubectl ：k8s命令工具，部署和管理應(yīng)用，維護(hù)組件
# 查看是否都正常安裝成功
kubelet --version
kubectl version
kubeadm version
啟動(dòng)kube
systemctl daemon-reload
systemctl enable kubelet && systemctl start kubelet
安裝完之后主節(jié)點(diǎn)需要往下配置，而子節(jié)點(diǎn)不需要再往下執(zhí)行配置，子節(jié)點(diǎn)只需要后續(xù)加入主節(jié)點(diǎn)即可
以下是主節(jié)點(diǎn)配置
拉取init-config配置 并修改配置 init-config 主要是由 api server、etcd、scheduler、controller-manager、coredns等鏡像構(gòu)成
mkdir k8s-config
cd ./k8s-config
kubeadm config print init-defaults > init-config.yaml
配置初始化腳本init-config.yaml
修改 master節(jié)點(diǎn)ip localAPIEndpoint > advertiseAddress 公網(wǎng)IP
advertiseAddress: 1.2.3.4.5
修改master主機(jī)名 nodeRegistration > name
name: k8s-master
修改鏡像倉(cāng)庫(kù)
imageRepository: registry.aliyuncs.com/google_containers
增加網(wǎng)卡 這里使用flannel網(wǎng)絡(luò)插件需要保持flannel網(wǎng)卡配置
podSubnet: 10.244.0.0/16
完成修改
apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:
- system:bootstrappers:kubeadm:default-node-token
token: abcdef.0123456789abcdef
ttl: 24h0m0s
usages:
- signing
- authentication
kind: InitConfiguration
localAPIEndpoint:
advertiseAddress: 101.34.112.190 # 指定master節(jié)點(diǎn)的IP地址（公網(wǎng)）
bindPort: 6443
nodeRegistration:
criSocket: /var/run/dockershim.sock
imagePullPolicy: IfNotPresent
name: master01 # 改成master的主機(jī)名
taints: null
---
apiServer:
timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:
local:
dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers # 默認(rèn)為k8s.gcr.io，但是網(wǎng)絡(luò)不通，所以要替換為阿里云鏡像
kind: ClusterConfiguration
kubernetesVersion: 1.23.6 # 指定kubernetes版本號(hào)，使用kubeadm config print init-defaults生成的即可
networking:
dnsDomain: cluster.local
serviceSubnet: 10.96.0.0/12
podSubnet: 10.244.0.0/16 # 指定pod網(wǎng)段，10.244.0.0/16用于匹配flannel默認(rèn)網(wǎng)段
scheduler: {}
# 啟動(dòng)k8s服務(wù)，等等dockers自動(dòng)拉取鏡像
kubeadm init --config=init-config.yaml
正常啟動(dòng) 記錄好生成token 和 sha256，字節(jié)點(diǎn)加入主節(jié)點(diǎn)命令
kubeadm join 101.34.112.190:6443 --token d1lqeo.7nksmtc43cq74ma3 --discovery-token-ca-cert-hash sha256:eba86afe4c9e50f6ede0880bd2b74ff340e5319f7eb4517ffc6b8101c9fea6b8
主節(jié)點(diǎn)重新獲取加入命令
kubeadm token create --print-join-command --ttl 0
# 完成初始化的新建文件和目錄的操作，在master上完成
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
配置網(wǎng)絡(luò) 使用flannl
# 拉取腳本
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
公網(wǎng)環(huán)境配置kube-flannel.yml
# 篇幅較長(zhǎng)只提供必要修改點(diǎn)
containers:
- name: kube-flannel
image: docker.io/flannel/flannel:v0.22.3
command:
- /opt/bin/flanneld
args:
- --public-ip=$(PUBLIC_IP) # 啟用公網(wǎng)IP
- --iface=eth0 # 啟用eth0上面已經(jīng)配置虛擬的一張公網(wǎng)網(wǎng)卡
- --ip-masq
- --kube-subnet-mgr
resources:
requests:
cpu: "100m"
memory: "50Mi"
securityContext:
privileged: false
capabilities:
add: ["NET_ADMIN", "NET_RAW"]
env:
- name: PUBLIC_IP # 配置公網(wǎng)IP環(huán)境變量
valueFrom:
fieldRef:
fieldPath: status.podIP
- name: POD_NAME
將配置文件kube-flannel.yml啟用
kubectl apply -f kube-flannel.yml
等待k8s依賴鏡像拉取和容器啟動(dòng)即可
子節(jié)點(diǎn)使用：
kubeadm join [主節(jié)點(diǎn)ip]:6443 --token [主節(jié)點(diǎn)啟動(dòng)后生成] --discovery-token-ca-cert-hash sha256:[主節(jié)點(diǎn)啟動(dòng)后生成]
加入到主節(jié)點(diǎn)中。
查看pod執(zhí)行情況
kubectl get pod -A
如果coredns-*一直處于非 Running狀態(tài)時(shí)候直接刪除coredns-*的pod，kubectl重新建立即可
查看各個(gè)節(jié)點(diǎn)接入情況Ready-正常接入完成
kubectl get nodes
公網(wǎng)環(huán)境搭建關(guān)鍵點(diǎn)：
k8s集群是建立在一個(gè)互通的內(nèi)網(wǎng)（局域網(wǎng)）中，需要flannel網(wǎng)絡(luò)插件實(shí)現(xiàn)內(nèi)網(wǎng)IP和公網(wǎng)IP的自動(dòng)轉(zhuǎn)換并流入指定的主機(jī)，各個(gè)節(jié)點(diǎn)保證集群內(nèi)部IP互通。
簡(jiǎn)單部署nginx驗(yàn)證各個(gè)節(jié)點(diǎn)內(nèi)網(wǎng)IP是否能正常通信
kubectl create deployment nginx --image=ginx:latest --port=80 --replicas=3
查看部署nginx pod實(shí)列情況
kubectl get pods -A -o wide
#pic_center
ping各個(gè)節(jié)點(diǎn)集群內(nèi)部IP數(shù)據(jù)包部丟失則公網(wǎng)環(huán)境搭建成功。
如果安裝失敗需要卸載重裝執(zhí)行：
sudo kubeadm reset -f
yum -y remove kubelet kubeadm kubectl
sudo rm -rvf $HOME/.kube
sudo rm -rvf ~/.kube/
sudo rm -rvf /etc/kubernetes/
sudo rm -rvf /etc/systemd/system/kubelet.service.d
sudo rm -rvf /etc/systemd/system/kubelet.service
sudo rm -rvf /usr/bin/kube*
sudo rm -rvf /etc/cni
sudo rm -rvf /opt/cni
sudo rm -rvf /var/lib/etcd
sudo rm -rvf /var/etcd文章來源：http://www.zghlxwxcb.cn/news/detail-723229.html
再重新安裝即可文章來源地址http://www.zghlxwxcb.cn/news/detail-723229.html
到了這里，關(guān)于k8s kubernetes 1.23.6 + flannel公網(wǎng)環(huán)境安裝的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
