一 Ingress 簡(jiǎn)介

service的作用體現(xiàn)在兩個(gè)方面，對(duì)集群內(nèi)部，它不斷跟蹤pod的變化，更新endpoint中對(duì)應(yīng)pod的對(duì)象，提供了ip不斷變化的pod的服務(wù)發(fā)現(xiàn)機(jī)制；對(duì)集群外部，他類似負(fù)載均衡器，可以在集群內(nèi)外部對(duì)pod進(jìn)行訪問。

在Kubernetes中，Pod的IP地址和service的ClusterIP僅可以在集群網(wǎng)絡(luò)內(nèi)部使用，對(duì)于集群外的應(yīng)用是不可見的。為了使外部的應(yīng)用能夠訪問集群內(nèi)的服務(wù)，Kubernetes目前提供了以下幾種方案：
●NodePort：將service暴露在節(jié)點(diǎn)網(wǎng)絡(luò)上，NodePort背后就是Kube-Proxy，Kube-Proxy是溝通service網(wǎng)絡(luò)、Pod網(wǎng)絡(luò)和節(jié)點(diǎn)網(wǎng)絡(luò)的橋梁。
測(cè)試環(huán)境使用還行，當(dāng)有幾十上百的服務(wù)在集群中運(yùn)行時(shí)，NodePort的端口管理就是個(gè)災(zāi)難。因?yàn)槊總€(gè)端口只能是一種服務(wù)，端口范圍只能是 30000-32767。

●LoadBalancer：通過設(shè)置LoadBalancer映射到云服務(wù)商提供的LoadBalancer地址。這種用法僅用于在公有云服務(wù)提供商的云平臺(tái)上設(shè)置 Service 的場(chǎng)景。受限于云平臺(tái)，且通常在云平臺(tái)部署LoadBalancer還需要額外的費(fèi)用。
在service提交后，Kubernetes就會(huì)調(diào)用CloudProvider在公有云上為你創(chuàng)建一個(gè)負(fù)載均衡服務(wù)，并且把被代理的Pod的IP地址配置給負(fù)載均衡服務(wù)做后端。

●externalIPs：service允許為其分配外部IP，如果外部IP路由到集群中一個(gè)或多個(gè)Node上，Service會(huì)被暴露給這些externalIPs。通過外部IP進(jìn)入到集群的流量，將會(huì)被路由到Service的Endpoint上。

●Ingress：只需一個(gè)或者少量的公網(wǎng)IP和LB，即可同時(shí)將多個(gè)HTTP服務(wù)暴露到外網(wǎng)，七層反向代理。
可以簡(jiǎn)單理解為service的service，它其實(shí)就是一組基于域名和URL路徑，把用戶的請(qǐng)求轉(zhuǎn)發(fā)到一個(gè)或多個(gè)service的規(guī)則。

二 Ingress 組成

●ingress：
ingress是一個(gè)API對(duì)象，通過yaml文件來配置，ingress對(duì)象的作用是定義請(qǐng)求如何轉(zhuǎn)發(fā)到service的規(guī)則，可以理解為配置模板。
ingress通過http或https暴露集群內(nèi)部service，給service提供外部URL、負(fù)載均衡、SSL/TLS能力以及基于域名的反向代理。ingress要依靠 ingress-controller 來具體實(shí)現(xiàn)以上功能。

●ingress-controller：
ingress-controller是具體實(shí)現(xiàn)反向代理及負(fù)載均衡的程序，對(duì)ingress定義的規(guī)則進(jìn)行解析，根據(jù)配置的規(guī)則來實(shí)現(xiàn)請(qǐng)求轉(zhuǎn)發(fā)。
ingress-controller并不是k8s自帶的組件，實(shí)際上ingress-controller只是一個(gè)統(tǒng)稱，用戶可以選擇不同的ingress-controller實(shí)現(xiàn)，目前，由k8s維護(hù)的ingress-controller只有g(shù)oogle云的GCE與ingress-nginx兩個(gè)，其他還有很多第三方維護(hù)的ingress-controller，具體可以參考官方文檔。但是不管哪一種ingress-controller，實(shí)現(xiàn)的機(jī)制都大同小異，只是在具體配置上有差異。
一般來說，ingress-controller的形式都是一個(gè)pod，里面跑著daemon程序和反向代理程序。daemon負(fù)責(zé)不斷監(jiān)控集群的變化，根據(jù) ingress對(duì)象生成配置并應(yīng)用新配置到反向代理，比如ingress-nginx就是動(dòng)態(tài)生成nginx配置，動(dòng)態(tài)更新upstream，并在需要的時(shí)候reload程序應(yīng)用新配置。為了方便，后面的例子都以k8s官方維護(hù)的ingress-nginx為例。

Ingress-Nginx github 地址：https://github.com/kubernetes/ingress-nginx
Ingress-Nginx 官方網(wǎng)站：https://kubernetes.github.io/ingress-nginx/

總結(jié)：ingress-controller才是負(fù)責(zé)具體轉(zhuǎn)發(fā)的組件，通過各種方式將它暴露在集群入口，外部對(duì)集群的請(qǐng)求流量會(huì)先到 ingress-controller， 而ingress對(duì)象是用來告訴ingress-controller該如何轉(zhuǎn)發(fā)請(qǐng)求，比如哪些域名、哪些URL要轉(zhuǎn)發(fā)到哪些service等等。

三 ingress 暴露服務(wù)的方式

●方式一：Deployment+LoadBalancer 模式的 Service
如果要把ingress部署在公有云，那用這種方式比較合適。用Deployment部署ingress-controller，創(chuàng)建一個(gè) type為 LoadBalancer 的 service 關(guān)聯(lián)這組 pod。大部分公有云，都會(huì)為 LoadBalancer 的 service 自動(dòng)創(chuàng)建一個(gè)負(fù)載均衡器，通常還綁定了公網(wǎng)地址。 只要把域名解析指向該地址，就實(shí)現(xiàn)了集群服務(wù)的對(duì)外暴露

●方式二：DaemonSet+HostNetwork+nodeSelector
用DaemonSet結(jié)合nodeselector來部署ingress-controller到特定的node上，然后使用HostNetwork直接把該pod與宿主機(jī)node的網(wǎng)絡(luò)打通，直接使用宿主機(jī)的80/433端口就能訪問服務(wù)。這時(shí)，ingress-controller所在的node機(jī)器就很類似傳統(tǒng)架構(gòu)的邊緣節(jié)點(diǎn)，比如機(jī)房入口的nginx服務(wù)器。該方式整個(gè)請(qǐng)求鏈路最簡(jiǎn)單，性能相對(duì)NodePort模式更好。缺點(diǎn)是由于直接利用宿主機(jī)節(jié)點(diǎn)的網(wǎng)絡(luò)和端口，一個(gè)node只能部署一個(gè)ingress-controller pod。 比較適合大并發(fā)的生產(chǎn)環(huán)境使用。

●方式三：Deployment+NodePort模式的Service
同樣用deployment模式部署ingress-controller，并創(chuàng)建對(duì)應(yīng)的service，但是type為NodePort。這樣，ingress就會(huì)暴露在集群節(jié)點(diǎn)ip的特定端口上。由于nodeport暴露的端口是隨機(jī)端口，一般會(huì)在前面再搭建一套負(fù)載均衡器來轉(zhuǎn)發(fā)請(qǐng)求。該方式一般用于宿主機(jī)是相對(duì)固定的環(huán)境ip地址不變的場(chǎng)景。
NodePort方式暴露ingress雖然簡(jiǎn)單方便，但是NodePort多了一層NAT，在請(qǐng)求量級(jí)很大時(shí)可能對(duì)性能會(huì)有一定影響。

四 部署 nginx-ingress-controller

1、部署ingress-controller pod及相關(guān)資源
mkdir /opt/ingress
cd /opt/ingress

官方下載地址：
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.25.0/deploy/static/mandatory.yaml

上面可能無法下載，可用國內(nèi)的 gitee
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.25.0/deploy/static/mandatory.yaml
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/mandatory.yaml


#mandatory.yaml文件中包含了很多資源的創(chuàng)建，包括namespace、ConfigMap、role，ServiceAccount等等所有部署ingress-controller需要

4.1 修改 ClusterRole 資源配置

vim mandatory.yaml


86 行 102行添加 
  
- "networking.k8s.io"  （0.25版本）增加 networking.k8s.io/v1 Ingress 資源的 api 

4.2 DaemonSet+HostNetwork+nodeSelector

1  指定 nginx-ingress-controller 運(yùn)行在 node02 節(jié)點(diǎn)
kubectl label node node02 ingress=true

kubectl get nodes --show-labels

2  修改 Deployment 為 DaemonSet ，指定節(jié)點(diǎn)運(yùn)行，并開啟 hostNetwork 網(wǎng)絡(luò)
vim mandatory.yaml
...
apiVersion: apps/v1   
# 修改 kind                         #第191行左右修改
# kind: Deployment
kind: DaemonSet
metadata:
  name: nginx-ingress-controller
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
spec:
# 刪除Replicas              #第200行左右修改
# replicas: 1
  selector:
    matchLabels:
      app.kubernetes.io/name: ingress-nginx
      app.kubernetes.io/part-of: ingress-nginx
  template:
    metadata:
      labels:
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/part-of: ingress-nginx
      annotations:
        prometheus.io/port: "10254"
        prometheus.io/scrape: "true"
    spec:                          # 第214行左右添加 
      hostNetwork: true   # 使用主機(jī)網(wǎng)絡(luò)
       nodeSelector:   # 選擇節(jié)點(diǎn)運(yùn)行
        ingress: "true"
      serviceAccountName: nginx-ingress-serviceaccount
......

在所有 node 節(jié)點(diǎn)上傳 nginx-ingress-controller 鏡像壓縮包 ingree.contro.tar.gz 到 /opt/ingress 目錄，并解壓和加載鏡像
cd /opt/ingress
tar zxvf ingree.contro.tar.gz
docker load -i ingree.contro.tar

1啟動(dòng) nginx-ingress-controller

kubectl  apply -f mandatory.yaml 

2  nginx-ingress-controller 已經(jīng)運(yùn)行 node02 節(jié)點(diǎn)
kubectl get pod -n ingress-nginx -o wide

到 node02 節(jié)點(diǎn)查看
netstat -lntp | grep nginx

由于配置了 hostnetwork，nginx 已經(jīng)在 node 主機(jī)本地監(jiān)聽 80/443/8181 端口。其中 8181 是 nginx-controller 默認(rèn)配置的一個(gè) default backend（Ingress 資源沒有匹配的 rule 對(duì)象時(shí)，流量就會(huì)被導(dǎo)向這個(gè) default backend）。
這樣，只要訪問 node 主機(jī)有公網(wǎng) IP，就可以直接映射域名來對(duì)外網(wǎng)暴露服務(wù)了。如果要 nginx 高可用的話，可以在多個(gè) node
上部署，并在前面再搭建一套 LVS+keepalived 做負(fù)載均衡。

4.3 創(chuàng)建 ingress 規(guī)則

1 創(chuàng)建一個(gè) deploy 和 svc
vim service-nginx.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-app
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
        - name: nginx
          image: nginx
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-app-svc
spec:
  type: ClusterIP
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80
  selector:
    app: nginx


2  創(chuàng)建 ingress

vim ingress-app.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: nginx-app-ingress
spec:
  rules:
  - host: www.kgc.com
    http:
      paths:
      - path: /
        backend:
          serviceName: nginx-app-svc
          servicePort: 80


3 kubectl apply -f service-nginx.yaml
4 kubectl apply -f ingress-app.yaml
5 kubectl get pods
6 kubectl get ingress

4.4 測(cè)試訪問

1 本地 host 添加域名解析
vim /etc/hosts
192.168.10.10 master
192.168.10.20 node01
192.168.10.30 node02
192.168.10.30 www.kgc.com


2 curl www.kgc.com

4.5 查看 nginx-ingress-controller

kubectl get pod -n ingress-nginx -o wide

kubectl exec -it nginx-ingress-controller-7w22l -n ingress-nginx /bin/bash

# more /etc/nginx/nginx.conf
//可以看到從 start server www.kgc.com 到 end server www.kgc.com 之間包含了此域名用于反向代理的配置

五 Deployment+NodePort模式的Service

1、下載 nginx-ingress-controller 和 ingress-nginx 暴露端口配置文件
mkdir /opt/ingress-nodeport
cd /opt/ingress-nodeport

官方下載地址：
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.30.0/deploy/static/mandatory.yaml
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.30.0/deploy/static/provider/baremetal/service-nodeport.yaml

國內(nèi) gitee 資源地址：
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/mandatory.yaml
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/provider/baremetal/service-nodeport.yaml


2、在所有 node 節(jié)點(diǎn)上傳鏡像包 ingress-controller-0.30.0.tar 到 /opt/ingress-nodeport 目錄，并加載鏡像
docker load -i ingress-controller-0.30.0.tar

3、啟動(dòng) nginx-ingress-controller
kubectl apply -f mandatory.yaml
kubectl apply -f service-nodeport.yaml

4 kubectl get pod,svc -n ingress-nginx

Ingress HTTP 代理訪問

cd /opt/ingress-nodeport

1 #創(chuàng)建 deployment、Service、Ingress Yaml 資源
vim ingress-nginx.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-app
spec:
  replicas: 2
  selector:
    matchLabels:
      name: nginx
  template:
    metadata:
      labels:
        name: nginx
    spec:
      containers:
        - name: nginx
          image: nginx
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-svc
spec:
  ports:
    - port: 80
      targetPort: 80
      protocol: TCP
  selector:
    name: nginx
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: nginx-test
spec:
  rules:
  - host: www.boa.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service: 
            name: nginx-svc
            port:
              number: 80


2 kubectl apply -f ingress-nginx.yaml

3 kubectl get svc,pods -o wide

4 kubectl exec -it pod/nginx-app-...bash

# cd /usr/share/nginx/html/
 # echo 'this is web1' >> index.html 

5 kubectl exec -it pod/nginx-app-... bash
 # cd /usr/share/nginx/html/
 # echo 'this is web2' >> index.html

 測(cè)試訪問
 curl 10.96.131.116  

外部訪問
curl www.boa.com:30325

Ingress HTTP 代理訪問虛擬主機(jī)

1  mkdir /opt/ingress-nodeport/vhost
2  cd /opt/ingress-nodeport/vhost

#創(chuàng)建虛擬主機(jī)1資源
3  vim deployment1.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: deployment1
spec:
  replicas: 2
  selector:
    matchLabels:
      name: nginx1
  template:
    metadata:
      labels:
        name: nginx1
    spec:
      containers:
        - name: nginx1
          image: soscscs/myapp:v1
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: svc-1
spec:
  ports:
    - port: 80
      targetPort: 80
      protocol: TCP
  selector:
    name: nginx1
	
	
kubectl apply -f deployment1.yaml

#創(chuàng)建虛擬主機(jī)2資源
4  vim deployment2.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: deployment2
spec:
  replicas: 2
  selector:
    matchLabels:
      name: nginx2
  template:
    metadata:
      labels:
        name: nginx2
    spec:
      containers:
        - name: nginx2
          image: soscscs/myapp:v2
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: svc-2
spec:
  ports:
    - port: 80
      targetPort: 80
      protocol: TCP
  selector:
    name: nginx2
	
	
kubectl apply -f deployment2.yaml

1 創(chuàng)建ingress資源
vim ingress-nginx.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress1
spec:
  rules:
    - host: www1.kgc.com
      http:
        paths:
        - path: /
          pathType: Prefix
          backend:
            service: 
              name: svc-1
              port:
                number: 80
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress2
spec:
  rules:
    - host: www2.kgc.com
      http:
        paths:
        - path: /
          pathType: Prefix
          backend:
            service: 
              name: svc-2
              port:
                number: 80


2 kubectl apply -f ingress-nginx.yaml

測(cè)試訪問
kubectl get svc -n ingress-nginx
 
curl www1.kgc.com:30325
curl www2.kgc.com:30325

Ingress HTTPS 代理訪問

1 mkdir /opt/ingress-nodeport/https
2  cd /opt/ingress-nodeport/https

3  創(chuàng)建ssl證書
openssl req -x509 -sha256 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/CN=nginxsvc/O=nginxsvc"

4  創(chuàng)建 secret 資源進(jìn)行存儲(chǔ)
kubectl create secret tls tls-secret --key tls.key --cert tls.crt

5 kubectl get secret


6 kubectl describe secret tls-secret

 創(chuàng)建 deployment、Service、Ingress Yaml 資源
vim ingress-https.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-app
spec:
  replicas: 2
  selector:
    matchLabels:
      name: nginx
  template:
    metadata:
      labels:
        name: nginx
    spec:
      containers:
        - name: nginx
          image: nginx
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-svc
spec:
  ports:
    - port: 80
      targetPort: 80
      protocol: TCP
  selector:
    name: nginx
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: nginx-https
spec:
  tls:
    - hosts:
      - www3.kgc.com
      secretName: tls-secret
  rules:
    - host: www3.kgc.com
      http:
        paths:
        - path: /
          pathType: Prefix
          backend:
            service: 
              name: nginx-svc
              port:
                number: 80


5 kubectl apply -f ingress-https.yaml

6 kubectl get svc -n ingress-nginx

Nginx 進(jìn)行 BasicAuth

mkdir /opt/ingress-nodeport/basic-auth
cd　/opt/ingress-nodeport/basic-auth

#生成用戶密碼認(rèn)證文件，創(chuàng)建 secret 資源進(jìn)行存儲(chǔ)
yum -y install httpd
htpasswd -c auth boa		#認(rèn)證文件名必須為 auth
kubectl create secret generic basic-auth --from-file=auth

#創(chuàng)建 ingress 資源
vim ingress-auth.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress-auth
  annotations:
    #設(shè)置認(rèn)證類型basic
    nginx.ingress.kubernetes.io/auth-type: basic
	#設(shè)置secret資源名稱basic-auth
    nginx.ingress.kubernetes.io/auth-secret: basic-auth
	#設(shè)置認(rèn)證窗口提示信息
    nginx.ingress.kubernetes.io/auth-realm: 'Authentication Required - zhangsan'
spec:
  rules:
  - host: auth.kgc.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service: 
            name: nginx-svc
            port:
              number: 80
//具體詳細(xì)設(shè)置方法可參考官網(wǎng)https://kubernetes.github.io/ingress-nginx/examples/auth/basic/

kubectl apply -f ingress-auth.yaml

kubectl get svc -n ingress-nginx

瀏覽器訪問：http://auth.kgc.com:30325

nginx的重寫

vim ingress-rewrite.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: nginx-rewrite
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: http://www1.kgc.com:30325
spec:
  rules:
  - host: re.kgc.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
		  #由于re.kgc.com只是用于跳轉(zhuǎn)不需要真實(shí)站點(diǎn)存在，因此svc資源名稱可隨意定義
          service: 
            name: nginx-svc
            port:
              number: 80


kubectl apply -f ingress-rewrite.yaml

echo '192.168.10.10 re.kgc.com' >> /etc/hosts

宿主瀏覽器訪問：http://re.kgc.com:30325

文章來源地址http://www.zghlxwxcb.cn/news/detail-692418.html

到了這里，關(guān)于k8s 對(duì)外服務(wù)之 ingress|ingress的對(duì)外暴露方式|ingress http，https代理|ingress nginx的認(rèn)證，nginx重寫的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！