1 emptyDir存儲卷

當(dāng)Pod被分配給節(jié)點時，首先創(chuàng)建emptyDir卷，并且只要該Pod在該節(jié)點上運行，該卷就會存在。正如卷的名字所述，它最初是空的。Pod 中的容器可以讀取和寫入emptyDir卷中的相同文件，盡管該卷可以掛載到每個容器中的相同或不同路徑上。當(dāng)出于任何原因從節(jié)點中刪除 Pod 時，emptyDir中的數(shù)據(jù)將被永久刪除。

mkdir /opt/volumes
cd /opt/volumes

vim pod-emptydir.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: pod-emptydir
  labels:
    app: myapp
spec:
  containers:
  - name: myapp
    image: soscscs/myapp:v1
    imagePullPolicy: IfNotPresent
    ports:
    - name: http
      containerPort: 80
    volumeMounts:
    - name: ck
      mountPath: /usr/share/nginx/html/
  - name: busybox
    image: busybox:latest
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: ck
      mountPath: /data/
    command:
    - /bin/sh
    - -c
    - while true;do echo $(date) >> /data/index.html;sleep 3;done
  volumes:
  - name: ck
    emptyDir: {}

	
	
kubectl apply -f pod-emptydir.yaml

kubectl get pods -o wide

2 在上面定義了2個容器，其中一個容器是輸入日期到index.html中，然后驗證訪問nginx的html是否可以獲取日期。以驗證兩個容器之間掛載的emptyDir實現(xiàn)共享。
curl 10.244.1.5

2 hostPath存儲卷

hostPath卷將 node 節(jié)點的文件系統(tǒng)中的文件或目錄掛載到集群中。
hostPath可以實現(xiàn)持久存儲，但是在node節(jié)點故障時，也會導(dǎo)致數(shù)據(jù)的丟失。

1 在 node01 節(jié)點上創(chuàng)建掛載目錄
mkdir -p /data/pod/volume1
echo 'node01.kgc.com' > /data/pod/volume1/index.html

2 在 node02 節(jié)點上創(chuàng)建掛載目錄
mkdir -p /data/pod/volume1
echo 'node02.kgc.com' > /data/pod/volume1/index.html

3 創(chuàng)建 Pod 資源
vim pod-hostpath.yaml

kubectl apply -f pod-hostpath.yaml
apiVersion: v1
kind: Pod
metadata:
  name: pod-hostpath
spec:
  containers:
  - name: myapp
    image: soscscs/myapp:v1
    volumeMounts:
    - name: html
      mountPath: /usr/share/nginx/html
      readOnly: false
  volumes:
  - name: html
    hostPath:
      path: /data/pod/volume1
      type: Directory
4  訪問測試
kubectl get pods -o wide

5 curl

3 nfs共享存儲卷

1 在stor01節(jié)點上安裝nfs，并配置nfs服務(wù)
mkdir /data/volumes -p
chmod 777 /data/volumes

vim /etc/exports
/data/volumes 192.168.10.0/24(rw,no_root_squash)

systemctl start rpcbind
systemctl start nfs

showmount -e
Export list for stor01:
/data/volumes 192.168.10.0/24

2 在node01和node02上操作
實現(xiàn)ip映射
echo '192.168.10.40 stor01' >> /etc/hosts

3  master節(jié)點操作
vim  pod-nfs-vol.yaml

apiVersion: v1
kind: Pod
metadata:
  name: pod-vol-nfs
spec:
  containers:
  - name: myapp
    image: soscscs/myapp:v1
    volumeMounts:
    - name: html-nfs
      mountPath: /usr/share/nginx/html
  volumes:
    - name: html-nfs
      nfs:
        server: stor01
        path: /data/volumes


kubectl apply -f pod-nfs-vol.yaml

1 在nfs服務(wù)器上創(chuàng)建index.html
cd /data/volumes
vim index.html
<h1> nfs stor01</h1>

2 master節(jié)點操作
curl 

3 kubectl delete -f pod-nfs-vol.yaml   #刪除nfs相關(guān)pod，再重新創(chuàng)建，可以得到數(shù)據(jù)的持久化存儲


4 kubectl apply -f pod-nfs-vol.yaml

5 在curl一邊發(fā)現(xiàn)內(nèi)容還在，實現(xiàn)了持久化存儲

4 PVC 和 PV

PV 全稱叫做 Persistent Volume，持久化存儲卷。它是用來描述或者說用來定義一個存儲卷的，這個通常都是由運維工程師來定義。

PVC 的全稱是 Persistent Volume Claim，是持久化存儲的請求。它是用來描述希望使用什么樣的或者說是滿足什么條件的 PV 存儲。

PVC 的使用邏輯：在 Pod 中定義一個存儲卷（該存儲卷類型為 PVC），定義的時候直接指定大小，PVC 必須與對應(yīng)的 PV 建立關(guān)系，PVC 會根據(jù)配置的定義去 PV 申請，而 PV 是由存儲空間創(chuàng)建出來的。PV 和 PVC 是 Kubernetes 抽象出來的一種存儲資源。

上面介紹的PV和PVC模式是需要運維人員先創(chuàng)建好PV，然后開發(fā)人員定義好PVC進(jìn)行一對一的Bond，但是如果PVC請求成千上萬，那么就需要創(chuàng)建成千上萬的PV，對于運維人員來說維護(hù)成本很高，Kubernetes提供一種自動創(chuàng)建PV的機(jī)制，叫StorageClass，它的作用就是創(chuàng)建PV的模板。

創(chuàng)建 StorageClass 需要定義 PV 的屬性，比如存儲類型、大小等；另外創(chuàng)建這種 PV 需要用到的存儲插件，比如 Ceph 等。 有了這兩部分信息，Kubernetes 就能夠根據(jù)用戶提交的 PVC，找到對應(yīng)的 StorageClass，然后 Kubernetes 就會調(diào)用 StorageClass 聲明的存儲插件，自動創(chuàng)建需要的 PV 并進(jìn)行綁定。

PV是集群中的資源。 PVC是對這些資源的請求，也是對資源的索引檢查。

PV和PVC之間的相互作用遵循這個生命周期：
Provisioning（配置）---> Binding（綁定）---> Using（使用）---> Releasing（釋放） ---> Recycling（回收）

●Provisioning，即 PV 的創(chuàng)建，可以直接創(chuàng)建 PV（靜態(tài)方式），也可以使用 StorageClass 動態(tài)創(chuàng)建
●Binding，將 PV 分配給 PVC
●Using，Pod 通過 PVC 使用該 Volume，并可以通過準(zhǔn)入控制StorageProtection（1.9及以前版本為PVCProtection） 阻止刪除正在使用的 PVC
●Releasing，Pod 釋放 Volume 并刪除 PVC
●Reclaiming，回收 PV，可以保留 PV 以便下次使用，也可以直接從云存儲中刪除

根據(jù)這 5 個階段，PV 的狀態(tài)有以下 4 種：
●Available（可用）：表示可用狀態(tài)，還未被任何 PVC 綁定
●Bound（已綁定）：表示 PV 已經(jīng)綁定到 PVC
●Released（已釋放）：表示 PVC 被刪掉，但是資源尚未被集群回收
●Failed（失?。罕硎驹?PV 的自動回收失敗

//一個PV從創(chuàng)建到銷毀的具體流程如下：
1、一個PV創(chuàng)建完后狀態(tài)會變成Available，等待被PVC綁定。
2、一旦被PVC邦定，PV的狀態(tài)會變成Bound，就可以被定義了相應(yīng)PVC的Pod使用。
3、Pod使用完后會釋放PV，PV的狀態(tài)變成Released。
4、變成Released的PV會根據(jù)定義的回收策略做相應(yīng)的回收工作。有三種回收策略，Retain、Delete和Recycle。Retain就是保留現(xiàn)場，K8S集群什么也不做，等待用戶手動去處理PV里的數(shù)據(jù)，處理完后，再手動刪除PV。Delete策略，K8S會自動刪除該PV及里面的數(shù)據(jù)。Recycle方式，K8S會將PV里的數(shù)據(jù)刪除，然后把PV的狀態(tài)變成Available，又可以被新的PVC綁定使用。

kubectl explain pv #查看pv的定義方式
FIELDS:
apiVersion: v1
kind: PersistentVolume
metadata: #由于 PV 是集群級別的資源，即 PV 可以跨 namespace 使用，所以 PV 的 metadata 中不用配置 namespace
name:
spec

kubectl explain pv.spec #查看pv定義的規(guī)格
spec:
nfs:（定義存儲類型）
path:（定義掛載卷路徑）
server:（定義服務(wù)器名稱）
accessModes:（定義訪問模型，有以下三種訪問模型，以列表的方式存在，也就是說可以定義多個訪問模式）
- ReadWriteOnce #（RWO）存儲可讀可寫，但只支持被單個 Pod 掛載
- ReadOnlyMany #（ROX）存儲可以以只讀的方式被多個 Pod 掛載
- ReadWriteMany #（RWX）存儲可以以讀寫的方式被多個 Pod 共享 注：官網(wǎng)
#nfs 支持全部三種；iSCSI 不支持 ReadWriteMany（iSCSI 就是在 IP 網(wǎng)絡(luò)上運行 SCSI 協(xié)議的一種網(wǎng)絡(luò)存儲技術(shù)）；HostPath 不支持 ReadOnlyMany 和 ReadWriteMany。
capacity:（定義存儲能力，一般用于設(shè)置存儲空間）
storage: 2Gi （指定大?。?br> storageClassName: （自定義存儲類名稱，此配置用于綁定具有相同類別的PVC和PV）
persistentVolumeReclaimPolicy: Retain #回收策略（Retain/Delete/Recycle）
#Retain（保留）：當(dāng)刪除與之綁定的PVC時候，這個PV被標(biāo)記為released（PVC與PV解綁但還沒有執(zhí)行回收策略）且之前的數(shù)據(jù)依然保存在該PV上，但是該PV不可用，需要手動來處理這些數(shù)據(jù)并刪除該PV。
#Delete（刪除）：刪除與PV相連的后端存儲資源（只有 AWS EBS, GCE PD, Azure Disk 和 Cinder 支持）
#Recycle（回收）：刪除數(shù)據(jù)，效果相當(dāng)于執(zhí)行了 rm -rf /thevolume/* （只有 NFS 和 HostPath 支持）

kubectl explain pvc #查看PVC的定義方式
KIND: PersistentVolumeClaim
VERSION: v1
FIELDS:
apiVersion
kind
metadata
spec

#PV和PVC中的spec關(guān)鍵字段要匹配，比如存儲（storage）大小、訪問模式（accessModes）、存儲類名稱（storageClassName）
kubectl explain pvc.spec
spec:
accessModes: （定義訪問模式，必須是PV的訪問模式的子集）
resources:
requests:
storage: （定義申請資源的大小）
storageClassName: （定義存儲類名稱，此配置用于綁定具有相同類別的PVC和PV）

NFS使用PV和PVC

1、配置nfs存儲
mkdir v{1,2,3,4,5}

vim /etc/exports
/data/volumes/v1 192.168.10.0/24(rw,no_root_squash)
/data/volumes/v2 192.168.10.0/24(rw,no_root_squash)
/data/volumes/v3 192.168.10.0/24(rw,no_root_squash)
/data/volumes/v4 192.168.10.0/24(rw,no_root_squash)
/data/volumes/v5 192.168.10.0/24(rw,no_root_squash)

exportfs -arv

showmount -e

2、定義PV

1  這里定義5個PV，并且定義掛載的路徑以及訪問模式，還有PV劃分的大小。
vim pv-demo.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv001
  labels:
    name: pv001
spec:
  nfs:
    path: /data/volumes/v1
    server: stor01                                                                                                                                                                                                                   
  accessModes: ["ReadWriteMany","ReadWriteOnce"]
  capacity:
    storage: 1Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv002
  labels:
    name: pv002
spec:
  nfs:
    path: /data/volumes/v2
    server: stor01
  accessModes: ["ReadWriteOnce"]
  capacity:
    storage: 2Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv003
  labels:
    name: pv003
spec:
  nfs:
    path: /data/volumes/v3
    server: stor01
  accessModes: ["ReadWriteMany","ReadWriteOnce"]
  capacity:
    storage: 2Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv004
  labels:
    name: pv004
spec:
  nfs:
    path: /data/volumes/v4
    server: stor01
  accessModes: ["ReadWriteMany","ReadWriteOnce"]
  capacity:
    storage: 4Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv005
  labels:
    name: pv005
spec:
  nfs:
    path: /data/volumes/v5
    server: stor01
  accessModes: ["ReadWriteMany","ReadWriteOnce"]
  capacity:
    storage: 5Gi

2 kubectl apply -f pv-demo.yaml

3 kubectl get pv

1  定義PVC
//這里定義了pvc的訪問模式為多路讀寫，該訪問模式必須在前面pv定義的訪問模式之中。定義PVC申請的大小為2Gi，此時PVC會自動去匹配多路讀寫且大小為2Gi的PV，匹配成功獲取PVC的狀態(tài)即為Bound
vim pod-vol-pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mypvc
  namespace: default
spec:
  accessModes: ["ReadWriteMany"]
  resources:
    requests:
      storage: 2Gi
---
apiVersion: v1
kind: Pod
metadata:
  name: pod-pvc
spec:
  volumes:
    - name: pvc-storage
    persistentVolumeClaim:
      clainName: mypvc
  containers:
    - name: myapp
      image: nginx
      ports:
        - containerPort: 80
          name: http
      volumeMounts:
        - mountPath: /usr/share/nginx/html
          name: pvc-storage



2  kubectl apply -f pod-vol-pvc.yaml

3  kubectl get pv

4 kubectl get pvc

1  測試訪問
在存儲服務(wù)器上stort上創(chuàng)建index.html，并寫入數(shù)據(jù)，通過訪問Pod進(jìn)行查看，可以獲取到相應(yīng)的頁面。
cd /data/volumes/v3/
  echo "welcome to use pv3" > index.html  

2  在master上獲取pod信息并驗證
kubectl get pods -o wide

curl pvc的ip

注意?。aster節(jié)點要添加pv的ip映射，不然驗證不了效果。

4 搭建 StorageClass + NFS，實現(xiàn) NFS 的動態(tài) PV 創(chuàng)建

Kubernetes 本身支持的動態(tài) PV 創(chuàng)建不包括 NFS，所以需要使用外部存儲卷插件分配PV。詳見：https://kubernetes.io/zh/docs/concepts/storage/storage-classes/

卷插件稱為 Provisioner（存儲分配器），NFS 使用的是 nfs-client，這個外部卷插件會使用已經(jīng)配置好的 NFS 服務(wù)器自動創(chuàng)建 PV。
Provisioner：用于指定 Volume 插件的類型，包括內(nèi)置插件（如 kubernetes.io/aws-ebs）和外部插件（如 external-storage 提供的 ceph.com/cephfs）。

1、在stor01節(jié)點上安裝nfs，并配置nfs服務(wù)


mkdir /opt/k8s
chmod 777 /opt/k8s/

vim /etc/exports
/opt/k8s 192.168.10.0/24(rw,no_root_squash,sync)

systemctl restart nfs

1 創(chuàng)建 Serice Account，用來管理 NFS Provisioner 在 k8s 集群中運行的權(quán)限，設(shè)置 nfs-client 對 PV，PVC，StorageClass 等的規(guī)則

vim nfs-client-rbac.yaml
#創(chuàng)建 Service Account 賬戶，用來管理 NFS Provisioner 在 k8s 集群中運行的權(quán)限
apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner
---
#創(chuàng)建集群角色
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: nfs-client-provisioner-clusterrole
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["list", "watch", "create", "update", "patch"]
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["create", "delete", "get", "list", "watch", "patch", "update"]
---
#集群角色綁定
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: nfs-client-provisioner-clusterrolebinding
subjects:
- kind: ServiceAccount
  name: nfs-client-provisioner
  namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-clusterrole
  apiGroup: rbac.authorization.k8s.io


2 kubectl apply -f nfs-client-rbac.yaml

3 kubectl get sa

使用 Deployment 來創(chuàng)建 NFS Provisioner
NFS Provisione(即 nfs-client)，有兩個功能：一個是在 NFS 共享目錄下創(chuàng)建掛載點(volume)，另一個則是將 PV 與 NFS 的掛載點建立關(guān)聯(lián)。

#由于 1.20 版本啟用了 selfLink，所以 k8s 1.20+ 版本通過 nfs provisioner 動態(tài)生成pv會報錯，解決方法如下：
vim /etc/kubernetes/manifests/kube-apiserver.yaml
spec:
  containers:
  - command:
    - kube-apiserver
    - --feature-gates=RemoveSelfLink=false       #添加這一行

2  kubectl apply -f /etc/kubernetes/manifests/kube-apiserver.yaml

3  kubectl delete pods kube-apiserver -n kube-system 

4  kubectl get pods -n kube-system | grep apiserver

1  創(chuàng)建 NFS Provisioner
vim nfs-client-provisioner.yaml
kind: Deployment
apiVersion: apps/v1
metadata:
  name: nfs-client-provisioner
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nfs-client-provisioner
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner   	  #指定Service Account賬戶
      containers:
        - name: nfs-client-provisioner
          image: quay.io/external_storage/nfs-client-provisioner:latest
          imagePullPolicy: IfNotPresent
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: nfs-storage       #配置provisioner的Name，確保該名稱與StorageClass資源中的provisioner名稱保持一致
            - name: NFS_SERVER
              value: stor01           #配置綁定的nfs服務(wù)器
            - name: NFS_PATH
              value: /opt/k8s          #配置綁定的nfs服務(wù)器目錄
      volumes:              #申明nfs數(shù)據(jù)卷
        - name: nfs-client-root
          nfs:
            server: stor01
            path: /opt/k8s
	
	
2 kubectl apply -f nfs-client-provisioner.yaml 

3 kubectl get pod

1 創(chuàng)建 StorageClass，負(fù)責(zé)建立 PVC 并調(diào)用 NFS provisioner 進(jìn)行預(yù)定的工作，并讓 PV 與 PVC 建立關(guān)聯(lián)

vim nfs-client-storageclass.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-client-storageclass
provisioner: nfs-storage     #這里的名稱要和provisioner配置文件中的環(huán)境變量PROVISIONER_NAME保持一致
parameters:
  archiveOnDelete: "false"   #false表示在刪除PVC時不會對數(shù)據(jù)進(jìn)行存檔，即刪除數(shù)據(jù)
  
  
kubectl apply -f nfs-client-storageclass.yaml

kubectl get storageclass

文章來源地址http://www.zghlxwxcb.cn/news/detail-457719.html

1 創(chuàng)建 PVC 和 Pod 測試

vim test-pvc-pod.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: test-nfs-pvc
spec:
  accessModes:
    - ReadWriteMany
  storageClassName: nfs-client-PROVISIONER    #關(guān)聯(lián)StorageClass對象
  resources:
    requests:
      storage: 1Gi
---
apiVersion: v1
kind: Pod
metadata:
  name: test-storageclass-pod
spec:
  containers:
  - name: busybox
    image: busybox:latest
    imagePullPolicy: IfNotPresent
    command:
    - "/bin/sh"
    - "-c"
    args:
    - "sleep 3600"
    volumeMounts:
    - name: nfs-pvc
      mountPath: /mnt
  restartPolicy: Never
  volumes:
  - name: nfs-pvc
    persistentVolumeClaim:
      claimName: test-nfs-pvc      #與PVC名稱保持一致
	  
	  
2 kubectl apply -f test-pvc-pod.yaml


3PVC 通過 StorageClass 自動申請到空間
kubectl get pvc

4 查看 NFS 服務(wù)器上是否生成對應(yīng)的目錄，自動創(chuàng)建的 PV 會以 ${namespace}-${pvcName}-${pvName} 的目錄格式放到 NFS 服務(wù)器上
ls /opt/k8s/


5 進(jìn)入 Pod 在掛載目錄 /mnt 下寫一個文件，然后查看 NFS 服務(wù)器上是否存在該文件
kubectl exec -it test-storageclass-pod sh
/ # cd /mnt/
/mnt # echo 'this is test file' > test.txt

6 發(fā)現(xiàn) NFS 服務(wù)器上存在，說明驗證成功
cat /opt/k8s/test.txt

到了這里，關(guān)于k8s pv pvc的介紹|動態(tài)存儲|靜態(tài)存儲的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！